- 博客(32)
- 收藏
- 关注
RSS订阅转载 如何将win10彻底关闭自动更新
win+R -> cmd(管理员) -> net stop wuauservwin+R -> regedit -> HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\wuauserv -> 将wuauserv整个目录直接删除win+R -> cmd(管理员) -> net start wuauserv...
2020-05-04 01:32:27
313
原创 创建一个Django项目
创建一个Django项目第一步：新建一个虚拟环境(在与项目同名的文件夹中创建)chenqi@ubuntu:~$ mkvirtualenv demo -p python3查看 虚拟环境下的工作空间第二步：安装Django框架chenqi@ubuntu:~$ pip3 install django==1.11.11查看在虚拟环境下安装的模块pip list其他基本命令 查看下...
2020-03-27 19:07:19
142
原创 游览器无法连接Github
游览器无法连接Github使用游览器访问GitHub 出现下面这样的情况进入Window下目录：C：\ Windows \ System32 \ drivers \ etc有可能打不开hosts文件的话 请用管理员身份运行打开在最后一行添加 有可能打不开hosts文件的话 请用管理员身份运行打开在最后一行添加 有可能打不开hosts文件的话 请用管理员身份运行打开在最后一行添加#gith...
2020-02-20 04:09:34
312
原创 Linux 命令实时查看指定文件的变化
Linux 命令实时查看指定文件的变化tail -f 文件的绝对路径下图是实时查看 mysql数据库的普通日志文件的情况
2020-02-11 03:50:06
881
原创 Ubuntu安装redis数据库
Ubuntu安装redis数据库在 Ubuntu 系统安装 Redis 可以使用以下命令sudo apt-get updatesudo apt-get install redis-server第一次安装启动 Redis服务redis-server使用redis数据库命令redis-cli以上命令将打开以下终端：redis 127.0.0.1:6379>我们可以输入...
2020-02-09 17:52:12
219
原创 Ubuntu创建virtualenv虚拟环境 以及基本命令
1、安装virtualenv如果在一台电脑上, 想开发多个不同的项目, 需要用到同一个包的不同版本, 如果使用上面的命令, 在同一个目录下安装或者更新, 新版本会覆盖以前的版本, 其它的项目就无法运行了作用 :o 虚拟环境可以搭建独立的python运行环境, 使得单个项目的运行环境与其它项目互不影响.o 所有的虚拟环境都位于/home/下的隐藏目录.virtualenvs下安装虚拟环境的...
2020-01-31 16:09:45
1112
原创 安装好的pycharm在代码区退出vim编译模式
pycharm在代码区退出vim编译模式每次打开Pycharm或者py文件时你都会发现光标不是插入模式如下如操作即可完成设置
2019-07-20 19:11:09
3147
原创 彻底删除Pycharm
彻底删除Pycharm删除pycharm所在的目录chenqi@ubuntu:~/下载$ sudo rm -r pycharm-2019.1.3这样并没有完全删除pycharm 因为pycharm会生成一个.PyCharm2019.1的配置文件，当你执行上面删除命令后在安装Pycharm会使用这个.PyCharm2019.1文件的配置（特别是修改过 pycharm.vmoptions文件...
2019-07-20 18:57:58
13647
2
原创 re正则匹配中文字符
re正则匹配中文字符re 匹配中文字符规则re.compile(u"[\u4e00-\u9fa5]+")下图是我爬取jd手表的一条数据 在该字典中的title键所对应的值value是我获取的整个em标签 因为我要获取整个em标签的中文内容得到的title包括了标签本身 所以不满足我的需求所以需要从title中只提取中文内容watch_dic = {'category': '国内品牌'...
2019-07-14 14:43:27
5290
1
原创 python基于twilio发送短信
python基于twilio发送短信1. 安装 twilio模块pip3 install twilio2. 在twilio官网注册一个试用账号网址https://www.twilio.com跳转页面登陆账号后进入Dashboard跳转页面看到python发送短信模板代码在pycharm中填入自己配置的参数# Download the helper library...
2019-07-13 16:01:10
379
原创 Python 发送邮件
用Python发送电子邮件1.拥有一个可用的邮箱账号 我以网易邮箱为例第一步 在网易邮箱开启smtp服务进入页面进行操作2. smtp开启成功后 可以编写发送邮件代码发送文本邮件# smtplib 是用于发送邮件的模块 import smtplib ...
2019-07-12 15:52:48
242
转载 Scrapy连接到各类数据库(SQLite,Mysql,Mongodb,Redis)
SQLite1.修改pipelines.py文件加入如下代码# 爬取到的数据写入到SQLite数据库import sqlite3class SQLitePipeline(object): #打开数据库 def open_spider(self, spider): db_name = spider.settings.get('SQLITE_DB_NAME'...
2019-07-10 15:25:01
853
1
原创 将scrapy 爬虫改为 增量式爬虫
将写好scrapy 爬虫改为 增量式爬虫只需要在settings配置文件配置相关参数1. 爬虫是不用动2. 修改配置文件# 2.1 配置去重类: 用于把请求的指纹数据存储到Redis的set集合中DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 2.1 配置调度器类: 用于把请求对象序列化为二进制数据, 存储到Red...
2019-07-07 15:53:14
281
原创 Ubuntu安装redis数据库
Ubuntu安装 redis 数据库在 Ubuntu 系统安装 Redis 可以使用以下命令:$sudo apt-get update$sudo apt-get install redis-server启动 Redis$ redis-server查看 redis 是否启动?$ redis-cli以上命令将打开以下终端：redis 127.0.0.1:6379>12...
2019-07-06 20:50:27
89
原创 W: 部分索引文件下载失败。如果忽略它们，那将转而使用旧的索引文件。
使用命令 sudo get-apt update已下载 5,326 kB，耗时 24秒 (213 kB/s) 正在读取软件包列表... 完成W: 无法下载 http://archive.scrapy.org/ubuntu/dists/scrapy/InRelease 无法解析域名“archive.scrap...
2019-07-06 19:43:48
24356
20
原创 E: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用) E: 无法对目录 /var/lib/apt/lists/ 加锁
E: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用) E: 无法对目录 /var/lib/apt/lists/ 加锁命令行输入：sudo rm /var/lib/apt/lists/lock
2019-07-06 19:31:57
10824
原创 Uuntun16.04 卸载MongDB
卸载MongDB一、先停止运行mongodbsudo service mongod stop再卸载MongoDBsudo apt-get purge mongodb-org*删除数据库和日志文件sudo rm -r /var/log/mongodbsudo rm -r /var/lib/mongodb...
2019-06-30 14:08:41
94
原创 Python 进程池Pool中的apply方法与apply_async的区别
Pool进程池multiprocessing中有两个Pool类1. multiprocessing.Pool (进程池)2. multiprocessinf.dummy.Pool（伪进程池<线程池>）因为Python在多进程执行中存在一个python解释器的历史遗留问题就是 GIL锁导致python解释器运行多进程任务时有且只有一个进程在执行而非是多个进程同步执行，可以说mul...
2019-06-19 20:51:20
6286
原创 Python map函数
map函数map函数是python的内置函数描述map() 会根据提供的函数对指定序列做映射第一个参数 fun 以参数序列中的每一个元素调用 fun 函数，返回包含每次 fun 函数返回值的新列表第二个参数 iter 是map()函数接收一个可迭代对象注意： 你可以在map()函数传入一个或者多个可迭代对象return：(返回值)返回给定fun参数函数执行后的一个可迭代对象（lis...
2019-06-19 18:40:18
213
原创 Python 实现多线程爬虫
实现多线程爬虫为什么要爬虫使用多线程?为了提高抓取数据效率有些网站对访问速度有限制, 这样网站可以可以开启多个线程, 每一个线程使用一个代理,去提取页面的一部分内容1.多线程的方法使用在python3中，主线程主进程结束，子线程，子进程不会结束 为了能够让主线程回收子线程，可以把子线程设置为守护线程,即该线程不重要，主线程结束，子线程结束t1 = threading.Thread...
2019-06-19 15:48:44
8875
原创 Beautiful Soup --bs4模块
1. 什么是Beautiful Soupbs4是一个HTML/XML的解析器，主要的功能是解析和提取HTML/XML数据，它提供了多种查找和定位元素的方式, 实现了惯用的方式查找和定位元素，从而节省了大量的工作时间，提高了开发项目的效率。四大对象bs4库会将复杂的HTML文档换成树结构（HTML DOM），这个结构中的每个节点都是一个Python对象，这些对象可以归纳为如下四种bs4.B...
2019-06-19 12:59:24
1543
原创 lxml模块的学习
1. lxml的认识在前面学习了xpath的语法，那么在代码中我们如何使用xpath呢，对应的我们需要lxm博文链接：xpath和lxml类库安装方式：pip install lxml2. lxml的使用1.导入lxml 的 etree 库 (导入没有提示不代表不能用)from lxml import etree2.利用etree.HTML，将字符串转化为Element对象,E...
2019-06-18 17:58:31
483
原创 xpath和lxml类库
1.xpath和lxmllxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息2.XpathXPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\XML 文档中对元素和属性进行遍历。W3School官方文档：http://www.w3school.com...
2019-06-18 15:09:42
181
原创 正则表达式
1.什么是正则表达式用事先定义好的一些特定字符，以及这些特定字符组合组成一个规则字符串，这个规则字符串用来表达对字符串的一种过滤逻辑。2.正则表达式的常见语法知识点正则中的字符正则中的预定义字符集正则中的数量词非打印字符字符描述\cx匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。...
2019-06-17 22:53:31
135
原创 MongoDB安装与配置
MongoDB安装与配置版本的选择奇偶版本- 奇数为开发版 可能存在各种影响运行的bug- 偶数为稳定版(release) 基本没有运行bug位数选择- 32位 存在存储上限- 64位 基本无限制window: MongoDB安装Windows平台- 去 https://www.mongodb.com/download-center#community 下载- 双击...
2019-06-16 16:07:48
92
转载 Ubuntu16.04完全卸载Mysql
原博文链接：https://blog.csdn.net/shihongliang1993/article/details/53768301sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremovesudo apt autoclearn
2019-06-16 13:03:28
359
原创 基于Linux系统的MySql数据库安装
服务器端安装安装服务器端：在终端中输入如下命令，回车后，然后按照提示输入sudo apt-get install mysql-server服务器用于接收客户端的请求、执行sql语句、管理数据库服务器端一般以服务方式管理，名称为mysql启动服务sudo service mysql start查看进程中是否存在mysql服务ps -ajx | grep mysql...
2019-06-16 12:58:05
261
原创 Ubuntu 3行命令 安装Google Chrome64位
安装Google Chrome命令行安装wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb sudo dpkg -i google-chrome*sudo apt-get install -f安装完成后直接在终端输入：即可运行chrome游览器google-chrome...
2019-06-15 22:58:34
135
原创 Ubuntu 16.04 安装搜狗输入法
为什么要安装搜狗输入法为什么我们要安装搜狗拼音/输入法，在linux系统下无论是本人还是国人使用linux系统 或多或少都希望能在 linux系统中能使用中文输入法，毕竟这样更符合我们的个人使用习惯。虽然有些人会选贼使用Fcitx库（也可以使用中文，但个人觉得还是搜狗好用），Fcitx库会和搜狗输入法有冲突，在安装之前，先彻底卸载Fictx。1.卸载fcitxsudo apt remo...
2019-06-15 14:40:36
149
原创 将Ubuntu 16.04系统语言改为简体汉字
前言： 之前安装Ubuntu16.04 完成后系统默认使用的是英文，但是对于许多国人来说 对于某些系统描述或者功能都使用纯英文的话是有些难以理解和接受,本人英文能力水平有限决定将系统默认使用语言改成中文第一步第二步第三步第四步第五步第六步第七步 第八步第九步*注意主要的事情说三遍： *若在第六步没有勾选English 而只勾选Chiness(simpli...
2019-06-14 22:16:04
1841
原创 Ubuntu 16.04 安装
中文版 Ubuntu 16.04 安装前言: 本人因学习关系选择安装Ubuntu 16.04版本系统 下面将会链接中有其他版本可供选择Ubuntu(乌班图)16.04 官方下载地址:Ubuntu 16.04 32位 LTS：下载地址Ubuntu 16.04 64位 LTS：下载地址官网下载地址：http://cn.ubuntu.com/download/Ubuntu简体中文官方网...
2019-06-14 21:13:34
1050
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人