![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 62
铃音.
如鱼饮水,冷暖自知
展开
-
xpath用法
如果路径以双斜线 // 开头, 则表示选择文档中所有满足双斜线//之后规则的元素(无论层级关系)方块号里的表达式可以进一步的指定元素, 其中数字表示元素在选择集里的位置, 而last()函数则表示选择集中的最后一个元素.原创 2023-12-20 17:23:58 · 948 阅读 · 1 评论 -
python爬虫招聘网站(智联)
爬虫目标要求:搜索“大数据”专业,爬相关公司的招聘信息。列数不少于10列,行数不少于3000 。目标:搜索“大数据”,爬取智联招聘北京市 职位名称,企业名称,薪资,城市,学历要求,招聘人数,经验要求,公司规模,公司性质,详情页链接https具体过程登录网站,搜索大数据,右键查看网页源代码Ctrl+F搜索大数据工程师,发现部分数据在网页源代码中职位名称,企业名称,薪资,城市,学历要求,经验要求,公司规模,公司性质,详情页链接https招聘人数在详情页可以看到,在源代码里看不到所以可用原创 2021-11-21 16:18:07 · 12684 阅读 · 16 评论 -
python爬虫爬取某宝化妆品信息
进入淘宝网站,登录账户,搜索化妆品,去掉url里的无关参数,然后找到url如下https://s.taobao.com/search?q=%E5%8C%96%E5%A6%86%E5%93%81右击检查,点击Network,Response刷新,得到以下界面按Ctrl+F搜索某一个商品的信息,比如第一个,搜索198.00,如下图然后就看见了商品的信息也在这一行,也是以json字典的格式存储的大概思路了解了,现在开始写代码了,要复制cookie和useragent,淘宝还是有一定反爬措.原创 2021-06-08 12:53:27 · 1790 阅读 · 4 评论