爬虫
Fresh-eyes
这个作者很懒,什么都没留下…
展开
-
python爬取前程无忧职位信息并保存到数据库
目标: 爬取前程无忧的职位信息,包括职位名、公司名、地址、薪资、发布日期这5个项目(本博客为爬取python、位置为深圳、薪资不限、发布日期不限),并保存到mysql数据库思想:1,获取完整数据:先分析url,找出python筛选出你想要的职位的url,由于每个网页显示的内容为50条,这里我们对url进行格式化,让它循环进行爬取下一页的内容,url如下:url = "h...原创 2019-02-14 11:35:11 · 4634 阅读 · 3 评论 -
python爬取豆瓣电影并保存到数据库
1,分析url,获取热门电影的url豆瓣采用的市ajax动态加载技术,我们可以直接找到json数据的urlurl = 'https://movie.douban.com/j/search_subjectstype=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=330&page_start=0'...原创 2019-02-14 12:01:21 · 10242 阅读 · 2 评论