2017年09月_滴滴答答要努力

原创网络爬虫之东方财富网股票板块

本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)。源码或者jar包如有需要请联系：[email protected]要抓取的数据抓包框架model建立数据表mainutilparsedbjob和jobmain要抓取的数据这个项目要抓取的是东方财富网的板块数据。链接为http://quote.eastm

2017-09-27 20:00:17 4121

原创网络爬虫抓包的使用

网络爬虫的第一步就是分析要爬取的数据的类型，这要通过抓包完成。在浏览器里的页面发生的数据通信，只需要打开Chrome的开发者工具，切换到network选项卡就够了。举个例子，比如要爬取东方财富网的板块数据，链接为http://quote.eastmoney.com/center/BKList.html#trade_0_0?sortRule=0 1、打开Chrome的开发者工具。 2、在这个界

2017-09-27 16:55:34 3720

原创一篇博文让你看懂网络爬虫

本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)。网络爬虫的原理写网络爬虫的原因网络爬虫的流程java网络爬虫要具备哪些基础知识？网络爬虫的原理当我们在浏览器访问一个网页时，网页接收到请求后返回一个HTML文件，浏览器对HTML文件进行解析，展示在用户界面上。同样的道理，爬虫程序模仿人的操作访问网站，给网站一个请求，网站

2017-09-27 16:18:42 357

原创算法的时间复杂度

定义计算方法举例说明常见的时间复杂度定义算法的时间复杂度是用一种“概量”的概念来衡量算法的运行时间。当计算时间复杂度的时候，我们会发现其实时间复杂度就是某一算法的执行次数的一个概略的量度。计算方法1、找到执行次数最多的语句执行次数最多的语句通常是最内层循环的循环体。 2、计算执行次数的数量级计算执行次数最多的语句的执行次数的数量级，就可以保证执行次数的最高次幂是正确的。 3、用大

2017-09-24 21:00:01 311

原创 Eclipse 导入java project乱码问题

Eclipse导入java project出现乱码问题，大多都是因为编码不对。只需三步就可以解决这个问题：对某工程更改编码：鼠标移到工程名或文件名，右键->Properties->Resource->Text file enCoding ->更改编码（GBK、UTF-8等）->Apply->OK退出修改整个命名空间的编码： eclipse菜单栏->Window->Preferences(

2017-09-23 15:14:13 651

原创 mysql跨服务器存储

进行网络爬虫的时候，为了检测爬虫的java程序有没有问题，会首先在自己本机的mysql数据库上测试。当测试完成后，我直接运行程序把数据存储在了本机的数据库中。但是毕竟团队其他成员需要对数据进行处理，所以要把数据放在研究所的服务器上。最简单的方法：数据表右键转储sql 文件，然后在研究所的服务器的数据库中运行这个sql文件即可，这样就实现了对数据表的跨服务器转移。

2017-09-23 09:54:02 346

原创查找算法（1）折半查找法

原理优缺点程序范例原理折半查找的原理是将排序好的数列分割成两份，然后将要查找的数字与中间位置的数字比较。如果要查找的数字小于中间位置的数字，就可以确定要找的数字在整个数列的前半段，反之在后半段，如果要查找的数字正好与中间位置的数字相等，说明位置已经找到。如此分割数次直到找到或确定不存在为止。优缺点折半查找的优点在于比较次数少，查找速度快，平均性能好。折半查找的缺点在于要求待查表为有序表，且

2017-09-20 20:57:42 1226

原创排序算法（2）冒泡排序法

原理举例程序范例原理冒泡排序法的名字由来是因为这种方法排序的原理就好像是水中的气泡往水面浮一样。那么冒泡排序法的原理是什么呢？冒泡排序法由第1个数字开始，比较相邻数字的大小，如果大小顺序和所要的不一致时，则将两个数字对调，反之则不需要对调。如此扫描过1轮后就可以确保最后一个数字处于正确的顺序。接着以同样的方法继续第2次扫描，直到排序关系完成即可。举例程序范例package boke;

2017-09-20 19:57:16 307

原创排序算法（1）选择排序法

排序算法（1）选择排序法原理举例程序范例原理选择排序法属于排序算法中常见的也是大家最容易理解的排序算法，可以作为排序算法的入门来学习。那么选择排序法的原理是什么呢？选择排序就是当n个数字需要由大到小排序时，首先以第1个位置的数字，依次与2、3、4......n个位置的数字作比较。如果第1个位置的数字大于或等于某一个位置的数字，则两个位置的数字不变，反之则将两个位置的数字进行互换。当第一轮

2017-09-20 16:39:55 7995 4

滴滴答答要努力