- 博客(29)
- 收藏
- 关注
RSS订阅原创 docker 基础命令
Docker常用命令帮助命令docker version #版本docker info #系统docker --help #帮助镜像命令docker images #所有镜像 -a 所有 -q iddocker search mysql #搜索镜像docker pull mysql #下载docker pull mysql:5.7 #下载5.7版mysqldocker rmi mysql -f 42154125 4125125#删除容器命令先下载一个ce
2021-09-04 23:09:20
135
原创 2021-03-20
from openpyxl import Workbookimport osimport uuidimport socketXML_DIRS = "/var/user_xml/"if not os.path.exists(XML_DIRS): os.mkdir(XML_DIRS)def get_ip(): # 获取本机计算机名称 hostname = socket.gethostname() # 获取本机ip ip = socket.gethostbyn
2021-03-20 15:56:36
156
原创 07.Python浏览器自动化模块selenium简介
一.selenium简介Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。二.selenuum的使用1.安装pip install selenium2.下载浏览器驱动程序chrome浏览器驱动程序Firefox浏览器找到自己的浏览器版本下载驱动程序3.浏览器自动播放咪咕音乐周杰伦歌曲列表第二首歌曲from selenium import webdriverimp
2020-11-18 19:17:31
573
原创 06.python aiohttp实现异步爬虫
一.进程池实现异步爬虫1.代码#原则：线程池处理的是阻塞且较为耗时的操作#对下述url发起请求解析出视频详情页的url和视频的名称url = 'https://www.pearvideo.com/category_5'page_text = requests.get(url=url,headers=headers).texttree = etree.HTML(page_text)li_list = tree.xpath('//ul[@id="listvideoListUl"]/li')u
2020-11-15 20:46:04
174
原创 python 协程详解教程
一.协程的概念协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是协程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制）：一种情况是该任务发生了阻塞； 另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它。协程本质上就是一个线程，以前线程任务的切换是由操作系统控制的，遇到I/O自动切换，现在我们用协程的目的就是较少操作系统切换的开销（开关线程，创建寄
2020-11-15 20:16:01
931
原创 05.python requests IP代理
一.问题爬虫程序单位时间访问次数达到服务器所限定的峰值，服务器会封掉我们本地的ip二.代理的作用突破自身IP访问的限制隐藏自身真实IP三.代理相关的网站快代理西祠代理www.goubanjia.com四.代理ip的类型http：应用到http协议对应的url中https：应用到https协议对应的url中五.代理ip的匿名度透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip匿名：知道使用了代理，不知道真实ip高匿：不知道使用了代理，更不知道真实的ip
2020-11-13 02:00:33
957
原创 04 python 爬虫cookie的处理
一.简介爬虫无法像浏览器一样自动存取和发送cookie,需要我们手动处理二.处理cookie方法1.用 requests.utils.dict_from_cookiejar() 把返回的cookies转换成字典import requests#得到cookiedef login(): login_url = 'http://www.xxx.com/login headers = { "Accept": "application/json, text/javascri
2020-11-13 01:31:46
450
原创 03.Python 爬虫数据解析
一.数据解析的方式re(正则)bs4xpath二.数据解析的目的精准获取我们在网页中想得到的数据三.re（正则）方式解析数据1.爬取爬取糗事百科中所有的糗图图片数据import osimport requestsimport refrom urllib import requestif not os.path.exists('./qiutu'): os.mkdir('./qiutu')headers = { 'User-Agent':'Mozilla/5.0 (
2020-11-12 19:33:29
151
原创 02.python requests模块详解
一.requests的安装pip install requests二.requests爬取搜狗首页并存储1.request.get方法requests.get(url,params,kwargs)url:请求地址params:参数2.代码import requestsif __name__ == "__main__": #step_1:指定url url = 'https://www.sogou.com/' #step_2:发起请求 #get方法会返回一个
2020-11-10 18:49:43
365
原创 已解决django 使用MySQL的坑
安装pymysql,过程略在项目文件目录下找到__init__.py加入以下代码：import pymysql#一定加这一句，否则会提示版本错误！！！pymysql.version_info = (1, 4, 13, "final", 0)pymysql.install_as_MySQLdb()在settings.py中加入：DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', # 数.
2020-11-08 23:08:30
350
转载 01.爬虫基础简介
前戏：你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源…你是否在节假日出行高峰的时候，想快速抢购火车票成功…你是否在网上购物的时候，想快速且精准的定位到口碑质量最好的商品…什么是爬虫：- 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值：实际应用就业爬虫究竟是合法还是违法的？在法律中是不被禁止具有违法风险善意爬虫 恶意爬虫爬虫带来的风险可以体现在如下2方面：- 爬虫干扰了被访问网站的正常运营- 爬虫抓取了收到法律保护的
2020-11-08 16:01:00
207
原创 git流程
1.开始创业文章目录1.开始创业2.事业上升3.遇到波折4.解决挫折5.开发途中遇到bug6.公司扩张7.来回上下班8.变基整合1.rebase2.log9.打标签10.免密登录git initgit statusgit add .git commit -m 'v1.0'git log2.事业上升git add .git commit -m 'v2.0'git add .git commit -m 'v3.0'3.遇到波折git loggit reset --hard xx
2020-11-08 15:48:39
158
转载 Redis 持久化之RDB和AOF
Redis 持久化之RDB和AOFRedis 有两种持久化方案，RDB （Redis DataBase）和 AOF （Append OnlyFile）。如果你想快速了解和使用RDB和AOF，可以直接跳到文章底部看总结。本章节通过配置文件，触发快照的方式，恢复数据的操作，命令操作演示，优缺点来学习Redis 的重点知识持久化。RDB 详解RDB 是 Redis 默认的持久化方案。在指定...
2019-04-20 18:59:36
95
原创 Centod/Redhat下激活Python虚拟环境virtualenv
使用的是Python3解释器在/opt 目录下建立all_venv文件夹，以后建立的虚拟环境安装到这里cd /optmkdir all_venv进入all_venv文件夹cd all_venvpip安装virtualenvpip3 install virtualenv 创建虚拟环境virtualenv --no-site-packages --python=pyth...
2019-04-17 21:16:41
245
转载 python 库环境
Cenos，Redhat下:yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y...
2019-04-17 17:23:05
156
转载 Mac下安装ipython与jupyter
Mac下安装ipython与jupyterIPython从Python发展而来，更倾向于科学计算。互联网数据分析更喜欢用。首先切换root用户：sudo su -pip3自动安装ipythonyuchaodeMacBook-Pro:~ root# pip3 install ipython自动安装完成后建立软连接，方便使用yuchaodeMacBook-Pro:bin root#ln ...
2019-04-17 17:18:20
104
转载 利用pillow模块在图像生成字符
pip install pillow*from PIL import Image, ImageFont, ImageDrawimport randomstr1 = '赵钱孙李周吴郑王冯陈褚卫蒋沈韩杨' #通过随机数，取一个汉字str1Length = len(str1)idx = random.choice(range(str1Length))char1 = str1[id...
2019-04-06 09:47:48
271
原创 python logging日志模块
简介logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等代码解释import logginglogger =logging.getLogger()#拿到logger对象fm =logging.FileHandler("logger.log")#文件处理器sm =logging.StreamHandler()#屏幕输出...
2018-12-14 20:45:17
97
原创 python configparse讲解
简介ConfigParser模块在python3中修改为configparser.这个模块定义了一个ConfigParser类，该类的作用是使用配置文件生效，配置文件的格式和windows的INI文件的格式相同该模块的作用 就是使用模块中的RawConfigParser()、ConfigParser()、 SafeConfigParser()这三个方法（三者择其一），创建一个对象使用对象的方法...
2018-12-12 23:39:33
326
原创 python optparse模块的解析
代码ptparse模块主要用来为脚本传递命令参数，采用预先定义好的选项来解析命令行参数。import optparseclass MyServer: def __init__(self): self.op =optparse.OptionParser() self.op.add_option("-p","--port",dest ="port") ...
2018-12-11 22:29:24
157
原创 python json和pickle讲解
1.区别1.json是可以在不同语言之间交换数据的，而pickle只在python之间使用。2.json只能序列化最基本的数据类型，而pickle可以序列化所有的数据类型，包括类，函数都可以序列化。2.代码——序列化import jsondic={"name":"卢","age" :20}with open("test.json","w",encoding="utf8") as
2018-12-10 23:29:21
484
原创 python xml模块
代码import xml.etree.cElementTree as ET#cElementTree是c语言编写的效率大于python语言编写的ElmentTreeroot =ET.Element("Name",attrib={"Country":"China"})#生成根节点Li =ET.SubElement(root,"LiLei",attrib={"age":"18"})#根下
2018-12-10 20:42:00
191
原创 python模拟ftp 进度条
代码import timeimport sysfor i in range(100): sys.stdout.write("#")#向屏幕输出端写入一个# time.sleep(0.1)#模拟过程 sys.stdout.flush()#刷新屏幕输出端缓存
2018-12-10 19:46:04
1013
原创 python的hashlib模块的使用方法
对一个明文进行hash算法加密得到不可反推得hash值import hashlibhm =hashlib.md5("sb".encode("utf8"))#对"sb"进行hash,如果不encode会报错hm.update("admin".encode("utf8"))#对hash值加盐print(hm.hexdigest())print("==============一种效果====.
2018-12-10 01:11:24
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人