smalljun的博客

1.找到file-->Settings2.更改为你想要的颜色

1.qq邮箱信息的发布# 用于发送邮件的模块import smtplib# QQ邮箱/163邮箱的邮件发送：py文件发送邮件内容相当于一个第三方的客户端，借助于QQ/163邮箱服务器来发送的邮件。# QQ邮件# 1> 配置邮箱SMTP服务器的主机地址，将来使用这个服务器收发邮件。HOST = 'smtp.qq.com'# 2> 配置服务的端口，默...

1.如果你的电脑上装的是Python3.6.0和Python3.7.0,并且你先装的Python3.6.0,后装的Python3.7.0;那么它将默认的是Python3.7.0在cmd中输入命令: where python       可以查看python安装的位置以及版本号                             python                   查看默认使用的p...

                                     json方法一:通过在cmd中输命令来实现scrapy crawl novel -o novel.json -s FEED_EXPORT_ENCIDING=UTF-8novel为爬虫名称(name)scrapy将数据保存为csv文件: scrapy crawl novel -o novel.csv -s FEED_EXPOR...

import requests, time, randomfrom fake_useragent import UserAgentfrom lxml.html import etree, HTMLParserfrom requests.packages.urllib3.exceptions import InsecureRequestWarning, InsecurePlatformWar...

        课前准备下载 :    charles(抓包工具)1.  cookie  和  session  的用法和原理

1.  # 代理ip# 默认爬虫是使用的是真实IP,为了伪装真实IP,使用代理IP(代理IP会一直在变)# redis 数据库是内存型数据库,既支持将数据存储到内存,也可以将数据进行持久化的本地存储# redis 非常适合做数据的缓存2.  34....

搜索:  github 搜索  proxy_pool下载    2解压到指定的位置3如果没有安装,在cmd命令框里进行安装,,pip install  APScheduler==3.2.0werkzeug==0.11.15等等4.

1.  官网下载2.找到下载并解压之后的文件  进行复制phantomjs.exe3.  查看python路径, 将phantomjs.exe和python.exe放在同一目录下4.

1.  微信搜狗      大神的代码  import requests, re, pymongo, timefrom fake_useragent import UserAgentfrom urllib.parse import urlencodefrom pyquery import PyQueryfrom requests.exceptions import C...

安装xlwt的方法(爬虫) 或者是在cmd里面直接敲命令:pip install xlwt 安装即可 MOngo数据库安装(爬虫)Custom 是选择安装的路径 需要在创建的data\db中敲命令:  mongod --dbpath “\data\db的路径”  保持命令行的黑窗口处于打开的状态,然后在浏览器上进行访问在浏览器中进行访问:127.0.0.1:27017 安装服务为自动启动的状态命令...

1.  爬虫网络请求方式:  urllib(模块),requests(库),  scrapy , pyspider  (框架)2. 爬虫数据提取方式:  正则表达是,  bs4, lxml, xpath,  css# 参数1：序列化的html源代码字符串，将其序列化成一个文档树对象。# 参数2：将采用 lxml 这个解析库来序列化 html 源代码html = BeautifulSoup(op...

安装1. 火狐浏览器: 下载geckodriver.exe把这个文件放在和python.exe相同的路径下geckodriver.exe: 是selenium用来打开火狐浏览器的驱动。需要将它和python.exe放在一起2. 下载的位置:https://github.com/mozilla/geckodriver/releases最新版火狐浏览器驱动geckodriver的地址。知识点:s...

Python虚拟环境的安装和配置(windows)1.先在电脑上将python2.7和python3.5版本安装完成，并记清楚安装路径,统一安装在D盘2.配置系统环境变量中的path路径，添加路径的版本即为默认使用版本 3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时，经常会出现超时等情况，可以使用国内镜像提高下载速度，例如豆瓣...

pycharm查找内容并替换内容

1.  搜索安装  charles  安装  创建快捷键到桌面2. 3.4.5.6.7.8.安装证书完毕   !!!!!!!!!