python
文章平均质量分 51
Amos_x
运维人,交流加群: 733279873
展开
-
Python read,readline,readlines和大文件读取
原本,我觉得read,readline,readlines比较简单,没什么好说的,本没打算要单独说一说的,但是在一次面试的时候,面试官问到了这个问题,但我并没有回答的很好,在面对大文件时的处理,没有给出很好的回答,所以这里单独来研究研究,并好好说一下这三个的方法。首先,这三个方法都是Python中对文件的操作。可以通过with open(...) as f:打开文件并操作文件。正文...原创 2019-11-10 16:21:53 · 6285 阅读 · 1 评论 -
centos7 搭建tinyproxy代理服务器
今日,发现平时能正常爬虫数据的网站,突然无法爬取了,怀疑是ip被封,于是使用别的阿里云公网ip进行访问,发现同样访问不了,于是初步怀疑是由于是爬虫放在阿里云服务器上,而阿里云服务器的公网ip都是有标识的,此网站可能会对ip进行解析,如果ip为阿里云公网ip则拒绝。由于访问一直是超时,并不是拒绝访问等,所以只是初步怀疑,或者阿里云ip对此网站访问时会有点问题等。也排除了dns的问题。于是,便打算在本...原创 2018-04-18 11:43:55 · 10435 阅读 · 0 评论 -
windows 安装mongodb并设置为windows服务,安装mongodb可视化工具
mongdb是一个noSQL数据库,非关系型数据库,用于储存一些非结构化数据。在使用爬虫等爬取数据时,是非常方便的存储方式,应为任务数据都可以直接存储,不需要像关系型数据库一样,需要提前建表。下载就记录一下mongodb在windwos上安装,并mongodb设置为windows服务,在后台运行。设立开机启动等。1. mongodb下载官网网址:https://www.mong原创 2018-03-23 15:24:16 · 721 阅读 · 0 评论 -
python入门笔记,求平方,解析xml,url编码拼接,time时间转换等常用函数
今天记录一点,在python使用中,常用到的函数,作为笔记记录。1,去平方。 python内置 math 里包含各种数学方法import mathmath.pow(x,y) 等于 x^y math。sqrt(x) 等于根号2 当然还是很多,需要用到的时候,去摸索吧2,解析xml格式文件 我们有什么爬虫爬下来的是xml格式的内容,原创 2017-12-12 12:02:31 · 519 阅读 · 0 评论 -
pytesseract的简单验证码的识别-python
验证码一直作为识别人类和机器的工具。作为广为使用的限制机器访问的利器。识别验证码基本上有三个方案。 一:人眼识别,手动输入 二:Tesseract对简单验证码的识别。 三:半自动的云打码平台,帮你24小时识别验证码。第一种最简单啦,只需要将验证码图片提取下来,自己手动识别就行,但是效率低下,繁琐。对于需要经常大量识别验证码的情况,更本不可取。今天就来讲下第二种。对于简原创 2017-12-04 00:08:47 · 4449 阅读 · 0 评论 -
python 内置函数isinstance(),hasattr(),getattr(),setattr()的介绍
此文章已不再更新,内容较浅显,请查看最新文章:《Python 的自省》---------------------------------------- 分隔符 ---------------------------------------------python有很多内置函数很好用,也非常常用。今天来介绍几个常用的1. isinstance(),用于判断对象类型,是否在一个范围...原创 2017-12-12 12:00:31 · 1022 阅读 · 0 评论 -
python @classmethod和@staticmethod 装饰器使用
此文章已不再更新,查看最新版文章:《Python @staticmethod和@classmethod》------------------------------------------------- 分隔符-------------------------------------------------一般来说,类的函数都需要实例化后,通过实例化对象来使用。就像这样:...原创 2017-12-12 11:56:03 · 1790 阅读 · 0 评论 -
python scrapy cannot import name '_win32stdio'的解决办法
在winodw上使用scrapy框架时,需要安装很多的依赖库。其他库基本都可以使用 PIP 安装,非常方便,会自动帮你安装所需依赖库。直接 pip install scrapy 就可以使用了,但是在运行时会发现出错。找不到 win32api,win32com,win32stdio等错误。解决方法: 1. 安装pywin32 。scrapy 的运行需要pywin32原创 2017-12-12 11:47:03 · 1477 阅读 · 0 评论 -
python pyodbc连接sql server数据库
记录一下pyodbc连接数据库的使用方法和注意事项,基于python2.7: 前提: pip install pyodbc 。下载pyodbc包。pyodbc.connect('DRIVER=;SERVER=;DATABASE=;UID=;PWD=')DRIVER:对应数据库版本的驱动器,SQL server 2008是“SQL Server Native Client 10原创 2017-12-12 11:43:48 · 11673 阅读 · 0 评论 -
python的编码问题
初学者对编码问题一定非常头痛,我开始时也是这样,所以下、记录一下到目前我对python编码问题的理解。首先,python的默认编码是“ascii” 这是表示英文和数字的常用规范编码。也就是说这个编码方式下只能表示英文,也就是说一旦出现中文,就会出错,无法识别。 先说一下python的文件编码大致处理流程,写完代码后,系统会按默认的编码(即ASCII)将你的代码进行编译,编译成计算机能看原创 2017-12-12 11:42:05 · 279 阅读 · 0 评论 -
python pip下载速度慢的解决方法
此文章已不再更新,查看最新内容:查看我个人博客中最新内容:《python pip下载速度慢的解决方法》------------------------------------------------- 分隔符 --------------------------------------------------------pip是python内置的非常好用的下载工具,基本...原创 2017-12-12 11:40:22 · 46551 阅读 · 8 评论 -
python aiohttp简易使用教程
0. 前言本文翻译自aiohttp的官方文档,如有纰漏,欢迎指出。aiohttp分为服务器端和客户端,本文只介绍客户端。另外我已经对 aiohttp 和 asyncio进行了封装,可以参考我的 github 地址:https://github.com/web-trump/ahttp由于上下文的缘故,请求代码必须在一个异步的函数中进行:asyn转载 2017-12-12 11:37:53 · 4077 阅读 · 0 评论 -
python requests发送json格式数据
requests是常用的请求库,不管是写爬虫脚本,还是测试接口返回数据等。都是很简单常用的工具。这里就记录一下如何用requests发送json格式的数据,因为一般我们post参数,都是直接post,没管post的数据的类型,它默认有一个类型的,貌似是 application/x-www-form-urlencoded。但是,我们写程序的时候,最常用的接口post数据的格式是json格式。...原创 2017-12-03 23:50:29 · 94455 阅读 · 16 评论