![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 69
lihang212010
虽然我的昵称不是csdn的第一个lihang但是我的域名是csdn的第一个lihang
展开
-
所有编程语言调用python方式,非命令行可以获取返回值,适合所有Python版本
各种编程语言非命令行调用python可获得返回值方法原创 2022-04-05 11:30:52 · 1308 阅读 · 0 评论 -
pymongo密码连接
适用于mongo使用SCRAM-SHA-1认证的连接方式网上有很多这样的,但是代码太多,我这里尽量代码简练有能用class ip: def __init__(self): myclient = pymongo.MongoClient(host="49.232.72.229", port=27017) mydb = myclient['ip'] ...原创 2020-05-06 16:43:50 · 368 阅读 · 0 评论 -
python打包知识点整理
个人从网上整理的一部分pip freeze >requirements.txt生成依赖文件setup.py参数说明#python setup.py build # 编译#python setup.py install #安装#python setup.py sdist #生成压缩包(zip/tar.gz)#python setup.py bdist_w...原创 2020-02-14 16:02:10 · 1263 阅读 · 0 评论 -
newspaper爬虫在python3.7的一些问题
newspaper框架是python的新闻爬虫框架,这个框架我个人感觉是python爬虫框架中制作难度最低的,它就是根据新闻网页多数关键词固定进行抓取,比如作者一般都用authors,标题都用title等,它是利用这些词固定进行新闻抓取。我在使用过程中主要有2个问题1。python3.7版本和newspaper.build()这个方法兼容性不太好,会出现运行卡住不输出的问题import ne...原创 2020-02-07 18:18:38 · 4427 阅读 · 0 评论 -
Portia使用
首先安装,这里使用docker安装(portia与python版本联系比较紧密建议使用docker安装)docker pull starjason/portia运行docker run -i -t --rm -v <PROJECTS_FOLDER>:/app/data/projects:rw -p 9001:9001 scrapinghub/portia还是抓取快代理h...原创 2020-02-06 01:02:07 · 6700 阅读 · 0 评论 -
pyspider爬取快代理并储存mongodb
pyspider是国人做的一个爬虫框架,我个人使用后觉得比起scrapy它优点是网页操作,效果一目了然,缺陷是网页操作,没有自动补全,大项目使用不方便,算的成也网页,输也网页了简单说下项目怎么安装pip install pyspider即可python3.7版本如何配置请看https://blog.csdn.net/weixin_43486804/article/details/10418...原创 2020-02-05 21:03:51 · 5275 阅读 · 0 评论 -
python3.7无法运行pyspider
python3.7中不运行方法用async,而pyspider是在python3.5中的,并没有升级,所以python3.7运行会报错解决方法有2中,1用python3.5运行pyspider(或者pycharm)2.修改源代码,作者并没有使用async,源代码修改的地方很少总共有3处(我的是linux系统下的,windows系统把前面地址修改为朋python模块保存位置即可)1./u...原创 2020-02-05 15:58:36 · 5518 阅读 · 0 评论 -
python私有变量公开变量说明
先上代码class people: name="l***" __sex="女" def __init__(self,age): self.age=age def __str__(self): return ("姓名:"+self.name+","+"年龄"+str(self.age)+",性别:"+self.__sex)先说公...原创 2020-02-02 01:36:36 · 7187 阅读 · 0 评论 -
python反射
反射是一个很重要的概念,它可以把字符串映射到实例的变量或者实例的方法然后可以去执行调用、修改等操作。python中把反射直接写成类的默认方法实现机制和java等有所差别,其实属于一种伪反射直接上代码class people: name="l***" __sex="女" def __init__(self,age): self.age=age d...原创 2020-02-02 01:28:48 · 6957 阅读 · 0 评论 -
爬虫cookie处理的2种方式
通过cookies我们可以实现登录一次后免登录我直接贴代码,username和password需要根据网站情况分辨import urllib.requestimport urllib.parseimport http.cookiejarurl=""postdata=urllib.parse.urlencode({ "username":"lihang", "passwa...原创 2020-02-01 18:24:21 · 8470 阅读 · 0 评论 -
python小问题汇总
云服务器上使用pip安装tornado的时候,出现了一个错误locale.Error: unsupported locale setting,在网上查询了之后是语言设置的问题,解决办法很简单,设置语言就好了ubuntu:~# export LC_ALL=C有2种方法设置python的默认编码:一个解决的方案在程序中加入以下代码:Python代码import sys reload(sy...原创 2020-01-30 17:52:08 · 9835 阅读 · 0 评论 -
python普通项目上线
首先看下我的项目目录在这里插入图片描述首先必须有setup.py这个文件from distutils.core import setupfrom setuptools import find_packagessetup(name='crawler csdn',author='lihang',author_email='631533483@qq.com',url='',versio...原创 2020-01-30 17:46:21 · 10000 阅读 · 0 评论 -
scrapy爬取快代理并保存mongo数据库
我们先分析下网页这个网友的页面规律很简单https://www.kuaidaili.com/free/inha/1https://www.kuaidaili.com/free/inha/2这个是页面跳转,然后xpath的规则提取很简单接下来是代码items.pyclass url(scrapy.Item): #抓取内容 ip=scrapy.Field() ...原创 2020-01-30 17:28:42 · 9977 阅读 · 0 评论