![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
==
文章平均质量分 67
不重要
小白不会写代码i
这个作者很懒,什么都没留下…
展开
-
可视化数据将数据呈现在模板中分别做了哪些事情
首先到 lagou_spider/handle_insert_data.py 这里面来,这里面定义了很多方法,比如说行业信息的查询def query_industryfield_result(self):接下来还有薪资情况查询,工作年限情况查询,学历信息查询,岗位发布数量(折线图),根据城市计数(地图),融资情况,公司规模,任职情况,抓取数量(应用在首页显示的)。这些方法都在run....原创 2020-03-02 15:48:28 · 217 阅读 · 0 评论 -
制作数据可视化分析报告并展示3
左上角柱状图由于标签名字太长根本看不清,所以要进行修改,获取前面的数值大的标签修改方法:需要在查询的时候做限制网页清除一下缓存然后运行,这时候显示的数据就是正常的了...原创 2020-03-02 15:29:59 · 815 阅读 · 0 评论 -
多进程加速抓取
import multiprocessingmain方法里创建一个进程池速度快了特别多下一节,将数据保存在mysql里原创 2020-02-16 16:57:06 · 129 阅读 · 0 评论 -
加入代理请求完数据之后要解析数据
查看post数据包里的信息复制返回结果到json.cn里查看解析之后pycharm里引入json就可以得到正常显示的结果了原创 2020-02-16 16:44:47 · 125 阅读 · 0 评论 -
引入代理(2-3/3:47)加入阿布云代理信息
这样可以隐藏自己的IP地址原创 2020-02-16 16:17:09 · 112 阅读 · 0 评论 -
{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"122.5.75.84", "state":2403}
解决:handle_request方法里面加while循环控制页面访问速度原创 2020-02-16 15:01:46 · 2066 阅读 · 0 评论 -
Cookie Session get post
cookie的各种ID是在刚开始get的时候生成的(set-cookie)也就是说,如果想发送post请求就要先发送前面的get请求,只有发送完了get请求之后才会set-cookie,我们才会拿到cookie信息。这就是为什么在前面初始化方法里面使用了lagou.session如果说我们不需要携带这些cookie信息,直接就可以请求的时候,我们直接使用request请求就...原创 2020-02-15 17:32:58 · 190 阅读 · 0 评论