Cqw150-CSDN博客

原创排序算法之基数排序

思路：基数排序是一种不用通过数的比较的一种排序方法。将要排序的元素分配至某些“桶”中。先定义一个数组T有10个分别代表0-9的数字的桶，假定现在数组A内容为 7,4,2,2,1,5,8(暂用个位数便于理解)，6, 吧数组内容对应到桶中的0-9（），有一个对应的值桶数值+1；则对应后数组T中的数据为【0,1,2,0,1,1,0,1,1，0】在吧数组每个等于前面数组的和结算后数组T变为【0...

2018-03-20 22:01:36 192

原创 scrapy 异步插入数据库pipeline 通用代码

核心代码class MysqlTwistedPipeline(object): """ 异步存储到MySQL """ def __init__(self, dbpool): self.dbpool = dbpool # self.redis_client = redis.StrictRedis( # host=settings.REDIS_HOST, # port=settings.REDIS_PORT,

2021-07-20 15:43:21 269

原创基于pyppeteer 破解极验滑块验证码

本文章主要介绍如何使用pyppeteer破解滑块验证码，主要分为3个步骤：1.下载滑块验证码的原图和缺口图片。2.计算缺口偏移量3.模拟滑块滑动，并处理结果首先这次的目标网站是国家企业标准网：http://www.qybz.org.cn/standardProduct/toAdvancedResult.do这个网站打开的时候就有一个滑块验证码需要点击，首先是获取原图和缺口图async def get_pic(page): '''获取图片 ...

2021-06-28 16:23:52 1864

原创 scrapy之Spider样例解析

刚开始学习这个框架，第一个使用Spider写的爬虫：通过关键字，抓取杭州人才网的信息。代码如下item.py#处理空格def str_strip(str): return str.strip().replace('\n', '').replace('\t', '').replace('\r', '').replace(' ', '')def except_name(conta...

2018-11-20 10:16:31 554

原创 scrapy之CrawlSpider 样例分析

crawlSpider 概念性的知识此处不再赘述。下面直接上自己写的一个例子，并列出碰到的问题，方便以后复习。由于是刚开始学习这个框架，碰到的问题都很小白。该例子是通过51的一个列表页面，获取该页面的所有详情页链接，并解析。items.py:(注：这里并没有抓取详情页的全部招聘信息，只是大概列了几个，检查效果)class jobTest(scrapy.Item): title...

2018-11-16 09:07:43 228

原创个人爬虫问题总结

1.例：爬取天猫网站的店铺名是，根据页面标签获取div 为空。分析：通过下载页面信息，发现，店铺名的div跟网站上的不同。所以网站上的div是通过js等文件生成，本身并不存在。要根据下载下来的页面信息div进行获取。2.例：爬取淘宝网站分类信息，会出现爬虫验证，输入验证码。分析：有三种解决办法1.设置爬虫的时间间隔，伪装的更像人为操作。2.通过代理进行爬取（设置代理Ip池，ip不能使用马上替换...

2018-05-09 22:06:46 490 1

原创 list 集合删除元素

使用迭代器进行删除：List<String> list = new ArrayList<String>(Arrays.asList("a1", "a2", "a3", "b1", "b2", "b3")); for (Iterator<String> iter = list.iterator(); it

2018-05-08 20:03:36 226

原创设计模式-----单例模式

单例模式特点：一个类只有一个实例。核心：私有的构造方法，保证外部类不能通过new创建对象。具体实现方法：1 懒汉式（线程不安全）public class SingletonTest { private static SingletonTest singleton; private SingletonTest() { } public static SingletonTest get...

2018-04-27 19:18:24 140

原创 SpringBoot Mybatis 框架整合笔记

pom文件jar包如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/...

2018-04-03 18:35:31 217

原创排序算法之堆排序

思路：堆排序用到了二叉树的概念，本文用到了大根推（上面的数最大，下面2个数小），把数组用二叉树的形式组合。通过排序，把大的数放到顶部。一次排序后，最大的值放到第一位，将最后一个数跟最大值调换。再次进行排序（不包括最后一个最大值）。循环操作。代码：package rank;public class PileRank { // 堆排序 public static void main...

2018-03-19 22:32:04 259

原创排序算法之归并排序

思路：归并排序是把一个无序的数组，分割成若干个小块，没快排序，整合，在排序，最后合成完成数组的过程。过程分为1.分割2.整合图解：图片来自https://www.cnblogs.com/chengxiao/p/6194356.html2个数组合成情况如下图所示：这里要把内容移动一个新的数组中，排序完成后再copy到原数组。每次左右比较吧小的数放到新的数组中。详细代码：package rank;...

2018-03-19 22:09:48 183

原创排序算法之希尔排序

思路：希尔排序是插入排序的进阶版，插入排序是吧每一个待插入数跟有序数列值进行比较，希尔排序先是吧数进行分组，先在组内排序.最后合成在进行一次排序。详细代码：package rank;public class HillRank { // 希尔排序进阶的插入排序 public static void main(String[] args) { int[] array = { 4, 2, 5...

2018-03-19 19:46:12 212

原创排序算法之选择排序

思路：每一趟从待排序的记录中选出最小的元素，顺序放在已排好序的序列最后，直到全部记录排序完毕例： 3,2,7，4,1,5 第一次后：1,2,7,4,3,5第二次后：1,2,7,4,3,5第三次后：1,2,3,4,7,5第四次后：1,2,3,4,5,7详细代码：package rank;public class ChooseRank {// 选择排序 public sta...

2018-03-18 22:18:24 128

原创排序算法之快速排序

快排过程：定义一个基数，将小于基数的值放于左边，大于基数的值放于右边。详细代码：package rank;import java.util.ArrayList;public class Speed {// 快速排序 public static void main(String[] args) { ArrayList<Integer> integerList = new A...

2018-03-18 18:57:41 180

原创排序算法之插入排序

思路分析：插入排序的核心就是通过数的对比，移动。实现排序。详细思路：每次排序时，将数据分为2组：1组为有序列，一组为无序列。每次排序，从无序列中取出一个数为T，对比有序列中的值（后往前对比），若无T小于有序列中的第一个值A，则吧A向后移动一个位置。继续对比。对比完成后，序列下标停留的位置值替换为T.图解：详细代码：package rank;public class InsertRank {/...

2018-03-18 18:36:32 259

Cqw150的博客