![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
画龙点睛之笔
搞程序 变光光头
展开
-
爬虫基础(二)
爬虫中数据的分类 结构化数据 :json,xml等 处理方式:直接转化为python类型 非结构化数据:html 处理方式:re 正则表达式,xpath json模块方法(浏览器切换手机版) 可以根据删除请求的url地址的参数,剃掉不想要的json数据,如:callback json.dumps 把python类型转化为json字符串 json.loads json字符串数...原创 2020-03-20 18:02:28 · 379 阅读 · 0 评论 -
爬虫基础入门(一)
爬虫的作用 1.数据采集 抓取微博评论(机器学习舆情监控) 抓取招聘网站的招聘信息(数据分析,挖掘) 新浪滚动新闻 百度新闻网站 2.软件测试 爬虫之自动化测试 虫师 3.12306抢票 4.网站上的投票 5.网络安全 短信轰炸 web漏洞扫描 爬虫分类 根据被爬取的数量不同,分类: 通用爬虫:通常指搜索引擎的爬虫 聚焦爬虫:针对特定网站的爬虫 根据是否获取数据为目的,分类: 功能性爬虫,比如,...原创 2020-03-18 17:18:07 · 466 阅读 · 1 评论