CSDNxiaozhi的博客

需求来源：公司在更新一些某信数据的时候，总是按照电脑的像素来对为获取，每次部署总需要更新一下代码的位置，为了代码能够更加的严谨，适用于更多的电脑，本次进行了调研更新完善代码备注：本次代码仅适用于win环境，因为mac环境缺少某些包，如果是mac请自行调研相关第三方库进行使用前期准备：1、python准备，本文在此使用的为3.8.5版本，如有相关问题，请自行问问度娘哦，哈哈2、第三方库：import reimport sysimport timeimport pyperclipfrom .

与大神一起工作的日常问题1：*之前一直在使用requests进行爬虫，虽然说也能执行并且获取数据，但是相对来说scrapy更为有效* scrapy日常出错背景：今天在进行scrapy修改的时候发现requests 重定向问题：requests的重定向只需要在请求的时候添加：allow_redirects=False样例：r = requests.get(‘http://github.com’, allow_redirects=False)scrapy简单重定向：遇到简单的框架性的

废话不多说，直接上主题：如果说有什么问题的话，可能就是文字与URL的转换区别userAgent = [“Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0”,“User-Agent:Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11Opera 11.11”,“User-Agent:

参照：

本文不介绍那么多，直接上内容一、需要下载的文件：tesseract-orcpip install pytesseract # python与tesseract-orc之间的关联语言包：简体中文包，繁体中文包将上面下载到的东西进行安装即可二、环境配置：tesseract-orc下载完毕之后傻瓜式安装即可但是一定记住安装的路径，等下需要配置系统环境变量增加一个TESSDATA_PREFIX变量名变量值还是我的安装路径：D:\python_tozhan\Tesseract-OCR

首先介绍一下自己的想法来源，现在网站上基本上就是有道翻译等等进行一个翻译的软件，对于我们常用的英语还好说，但是对于西班牙语、荷兰语等等就不支持进行读出来了，本章就介绍一下如何运用python去写发音脚本while True: try: s = input(‘输入自己想要读出来的文字，也可以是句子，按回车执行：’) speaker.Speak(s) except: if sys.exc_type is EOFError: .

1、编写脚本随便找一个位置创建.sh文件为了方便，本文创建在项目的同级目录中创建文件包 ：mkdir -- 文件名创建文件： vim scrapy_shscrapy_sh内容：export中启动虚拟环境cd 进入到启动的scrapy项目中scrapy crawl pythonPosition 为启动项目，一般为spiders文件中的对应的py文件，将.py去掉即为启动方法>> 为重定向 pythonPosition.log 2>&1 这句就是将运行的日志

使用distinct进行去重，例子：gap = Vocation.objects.values('change_time').distinct().count()进行去重计算，使用values找到需要去重的字段模板：xxxx.objects.values("field_name").distinct()#或者xxxx.objects.distinct().values("field_name") ...

用过openpyxl、xlrd、xlwd等操作excel的第三方库之后，自我感觉最好用的就是xlsxwriter模块了，下面介绍一下自己使用之后的感觉1、xlsxwriter模块介绍xlsxwriter模块可以想excel表格中导入文本、数字、公式图片等等许多功能但是xlsxwriter也有个非常大的缺点：不支持读取excel表格，也不能修改已经存在的excel表格，也就是说如果使用该模块去操作excel表，那么就必须从新创建文件进行文件写入工作，否则就会覆盖数据导入：import xlsxwri

对json.loads与eval解析json.loads对于格式的转换仅限于双引号之内的json格式字符串转化，单引号格式的数据没有兼容性，不能够进行转换而eval对于单引号与双引号的数据并没有严格的要求，做一下试验就能一目了然了双引号：test = '{"m":"shopitemsearch","vm":"nw","sversion":"4.6","shopId":106376474,"sellerId":1779881393,"style":"wf","page":1,"sort":"_sale

设置代理ip：根据每个代理平台的格式不同，代理设置的方式也不尽一致，这里进行演示芝麻代理的配置：def ip_get(): url = '形成的代理的链接' ip_list_con = requests.get(url=url).json() ip_list = ip_list_con['data'] ip_cookie = [] for i in ip_list: ip_cookie.append(str(i['ip']) + ":" + str

转载：https://blog.csdn.net/tjcyjd/article/details/50695922

python使用installer打包exe之后出现闪退的情况，想查看相关的报错信息：使用cmd，进入到exe所在的文件包内，执行exe文件就可以展示出来错误信息，而不会闪退；大部分的闪退基本上就是模块没有导入：打包单文件涉及到特殊模块时，使用 pyinstaller -F -p 模块路径; demo.py...

python数据爬虫工程师每次打交道最多的的就是请求头信息了吧每次请求一个网页的时候最先进行的就是请求头的设计与查找，如果是少量请求头的时候自己编写也还好，但是如果遇到请求头数量过多时，每次都要自己去手动复制修改格式，非常的麻烦，用python就是为了方便，现在介绍一个简单的方法：找到自己需要的信息所在的页面：确定自己需要的数据存在与当前接口内，选择：进行Copy as cURL(ba...