python
梁萌
认真是一种态度
展开
-
python爬虫scrapy框架初体验
目标网站:http://www.htqyy.com/top/hot 目标数据:爬取音乐网站中列表第一页歌曲名称和音乐家的名字。 第一步:初始化项目 先在桌面创建一个文件夹,用于存放项目文件。 文件夹创建完成后,打开文件夹,在文件夹内打开控制台(快捷键Shift + 鼠标右键-->在此处打开命令窗口),在控制台输入下面命令: scrapy startproject myspider scrapy startproject 是固定的,后面的myspider是项目名称,可以自己命名。原创 2020-07-11 22:16:50 · 710 阅读 · 0 评论 -
快速爬取腾讯招聘信息
目标网站:https://careers.tencent.com/search.html?pcid=40001 目标数据:爬取前10页招聘信息中的岗位名称、工作职责、工作要求 准备工作:先看下目标数据的获取方式,是从页面的HTML中获取还是从接口中直接获取。 通过对网站的分析,发现需要的数据是来自接口。如下图所示: 话不多说,直接上代码: import requests import json headers={ "user-agent"...原创 2020-07-05 11:50:09 · 1914 阅读 · 2 评论 -
python3使用requests发送请求时加入cookie信息
在爬虫过程中,有的网站需要cookie才能访问,这时候就要在请求时加入cookie信息,python3为例,添加cookie的方法如下: headers={"user-agent':'xxxxx'} cookies= {'Cookie':'xxxx'} res = requests.get(url,headers = headers,cookies = cookies) ...原创 2020-06-25 18:20:39 · 4604 阅读 · 0 评论 -
python发送邮件实例
准备工作: 要想使用python发送邮件,需要借助第三方库 pyemail,需要在计算机中安装这个库,安装第三方库的方法,参考下面链接: https://blog.csdn.net/liangmengbk/article/details/106731269 第三方库安装好了以后,就可以写代码发送电子邮件了,下面以163邮箱为例,发送一封邮件给qq邮箱。 需要准备好163邮箱(发件人)的授权密码,操作步骤如下: 进入这个页面后,会看到下面的信息 因为我的邮箱已经开通了授权密码...原创 2020-06-14 14:49:35 · 1228 阅读 · 1 评论 -
python安装第三方模块教程
1.如果是第一次安装第三方模块,需要先升级一下pip 打开cmd窗口,输入命令 python -m pipinstall --upgrade pip 命令执行完成后会显示成功 2. 安装需要的第三方模块 拿pillow模块为例,在cmd窗口中输入 pip install pillow 安装完成 ...原创 2020-06-13 13:50:42 · 2451 阅读 · 0 评论 -
python语言发展方向
大的方向分为3个: 1.数据挖掘--爬虫 所需技术:python、爬虫、爬虫框架、数据清洗、数据库 2.web编程--网站 所需技术:python、前端、web框架、数据库 3.数据分析 所需技术:python、数学、统计学、行业知识、数据挖掘 ...原创 2020-06-09 22:43:27 · 271 阅读 · 0 评论