- 博客(9)
- 收藏
- 关注
RSS订阅原创 实战：爬取掘金热门文章——基于python爬虫
说一说爬取中的踩得坑，印象太深刻了缺失一些必要的请求头时，掘金网站不会报错，而是给你返回不相关的一推数据，关键这些数据从形式上看还很像请求拿回来的数据。就这个坑害我思索了很长时间，可能还是我太菜了吧~掘金网热门文章刷新频繁，往往几分钟前在调试页面看到的数据，跟刚请求到的数据略有不同，这又让我纠结了一些时间最后放上源码：import requests, json,timeurl = "https://api.juejin.cn/recommend_api/v1/article/recommend
2021-03-16 22:58:44
925
2
原创 爬虫设计翻页链接实战——基于链家网站
爬虫对象为链家网url = 'https://bj.lianjia.com/ershoufang/'在爬取该网页前，要弄明白哪些数据是js加载的，一个很简单的方法是禁止当前页面js加载，观察禁止前后网页的变化。发现在禁止js加载后，该网页的翻页模块消失了，说明链家的翻页功能是通过js渲染的下面是实现翻页功能的标签思索一番后，决定采用xpath方法获取该标签的page-data属性，以获得总页数（totalPage）和当前页数（curPage），而后采取链接格式化的方式，循环遍历所有页面。具体实
2021-03-15 23:38:26
386
原创 选择排序——基于python
利用python语言实现选择排序算法本次共构造了三个函数，目的是直观看出元素数量与总操作数之间的关系def make_list(N):#构造N个数值，形成由大到小排序的有序数列，实现最坏查找 list = [] for i in range(N): list.append(N-i) return listdef find_min(list):#查找列表中最小值 index = 0 for i in range(len(list)):
2021-03-14 20:47:58
126
1
原创 二分查找——基于python
最近在学爬虫的同时，也在恶补算法，参考图书为《算法图解》（Aditya Bhargava著）先放上实现二分查找代码：def binary_search(list,item): low = 0 high = len(list)-1 count = 0 #查找计数 while high >= low: count = count + 1 mid = int((low+high)/2)#后续选取公差为2的数列，方便mid取整
2021-03-13 22:03:57
168
原创 2021-03-13
Xpath相关节点检索属性检索包含检索与、或、非特定标签的选取[1]position()last()Xpath的轴初始化from lxml import etreeresp = ''' '''#html文本文件html = etree.HTML(resp)节点 . 代表当前节点 ..代表上一级节点【父节点】 / 代表子级某个节点 / 代表子级，亲儿子，一层的关系 （指定下一级别搜寻） // 代表子级，子孙后代，多层关系 （可跨级别搜寻） @ 选取属性检索属性检索根据
2021-03-13 16:54:47
89
原创 2021-03-11
request库相关知识点（不全）response响应状态码text 与 contentget与post请求时传参数键值对一一对应形式传参键值对一对多形式传参代理ip其它零碎知识点response响应状态码import requestsurl = "http://www.biadu.com/"response = requests.get(url)<Response [200]>200系列：成功 || -200 成功；-201 创建成功400系列：失败 || -401认证失败
2021-03-11 13:59:08
125
原创 2021-03-10
初始台地编程小白一枚，最近在学python爬虫，想借此先一只脚踏进IT。会不定期更新博客，把最近所学知识整理到这里，一是方便自己巩固和温习，二是督促自己坚持学习。end～
2021-03-10 23:03:47
66
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人