我不想一边又一遍的讲爬虫是什么,我写这个系列的目的:
1.首先,打破大家学习新事物的误区;我认为能看到我博客的人大部分都是成年人,成年人的时间是不多的,宝贵的,所以不能再像以往上学时从基础开始.
2.其次我要写博客就要写干货;直接从数据上下手,将内容都以"模块化"书写并使用.
3.将我的所学(自学)的内容分享出来;可能真正的高手与大佬会认为我写的会比较简单基础繁琐,也欢迎各位指出我的错误,在这里先感谢各位.
我现在正在整理我所有爬虫项目,准备通过一条线将他们关联起来,目前整理的为:
1.爬虫方法与基础网页爬取,数据筛选.
2.爬虫筛选数据都有什么方法,IO流方法,MySQL数据库使用.
3.编写爬虫测试工具(以后会不断完善工具).
4.综合爬取CSDN首页数据.
5.小总结,并放出我常用的编码格式转换等方法.
6.爬取36氪的24小时新闻(涉及寻找网页接口),常用网页接口查找方法.
7.爬取网站图片,图片爬取方法(IO流的使用).
8.使用爬虫进行网站登录,爬出登录后内容.
9.爬取国内外ip地址,制作ip代理池,更换ip隐藏自己.
10.未完待续.
目前就是这样,之后我还会整理的.