python简单爬虫 多线程爬取京东淘宝信息教程

1,需要准备的工作,电脑已经安装好python,如果没装,可以执行去https://www.python.org/官网下载,初学者可以安装轻量级的wingide python开发工具,python安装成功后配置好环境变量,在dos环境使用pip install 模块 将需要用到的模块添加到python中。

需要添加的模块有 lxml,Pool,requests,json,pymongo或者pymysql

1,打开wingide 新建一个python文件  在里面导入我们需要用到的模块



2,寻找我们需要爬取的网页  这里 我以京东的搜索为例  url为:https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&pvid=4e336fe84d3247f0b0795a790b09b422  主要是获取京东手机的名称,价格以及一些其他详细信息

写一个方法获取我们初次爬取的网页    get_sku_id(url)

  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值