- 博客(24)
- 收藏
- 关注
RSS订阅原创 Python3.7+Django2.2.4+Xadmin
1.创建数据库create database db_name default charset utf8 collate utf8_unicode_ci;2.安装pymysql项目的__init__.py下：import pymysqlpymysql.install_as_MySQLdb()错误一：django.core.exceptions.ImproperlyCo...
2019-08-07 17:03:14
1136
1
原创 markdown编辑器[typora]
【记】Ubuntu上好用的markdown编辑器：typoramarkdown语法https://www.jianshu.com/p/191d1e21f7edhttps://www.jianshu.com/p/f3147a804368中文显示：File->Preference->Language 选择语言即可。...
2019-06-12 10:37:12
374
转载 conda install报PackagesNotFoundError
PackagesNotFoundError: The following packages are not available from current channels:当使用conda install package_name安装包时，找不到对应的包，可使用pip install 安装。https://www.e-learn.cn/content/wangluowenzhang/319...
2019-05-05 15:52:47
606
原创 conda创建虚拟环境时报ConnectionError
gaoyanping@SWD-GAOYPING-INT:~$ conda create -n hades python=2.7Solving environment: failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/r/noarch/repodata.jso...
2019-05-05 15:33:34
2084
原创 elasticsearch搜索引擎及elasticsearch-head/kibana插件的安装
ElasticSearch是一个基于Lucene(java开发)的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。elasticsearch安装(ubuntu)1.确定安装java jdk(ElasticSearch是基于...
2018-05-07 09:27:35
712
原创 selenium动态网页请求
1.安装pip install selenium2.访问动态网页from selenium.webdriver import Chromefrom scrapy.selector import Selector#加载驱动browser = Chrome(executable_path="/home/mata/Tools/driver/chromedriver")browser.get(...
2018-04-23 22:18:00
2027
原创 CrawlSpider 爬取拉勾网重定向302问题解决方案
custom_settings = { "COOKIES_ENABLED": False, "DOWNLOAD_DELAY": 1, 'DEFAULT_REQUEST_HEADERS': { 'Accept': 'application/json, text/javascript, */*; q=0.01', ...
2018-04-20 10:56:02
3201
1
原创 scrapy同步与异步储存数据
1.同步class MysqlPipeline(object): """ 采用同步的机制写入mysql """ def __init__(self): self.conn = pymysql.connect(host="127.0.0.1", user="root", password="ts123456", db="art_sc
2018-04-13 16:42:54
2534
原创 md5加密
import hashlibdef get_md5(url): if isinstance(url, str): # 判断是否是unicode编码 url = url.encode('utf-8') m = hashlib.md5() m.update(url) return m.hexdigest()if __name__ == "_...
2018-04-12 14:01:24
181
原创 关于scrapy框架使用的笔记
1.parse.urljoin(base,url)的使用from urllib import parseRequest(url=parse.urljoin(response.url, url), callback=self.parse_detail)提取出response.url的主域名与url(/111954/)做url的拼接。若url中有域名，拼接时不会用response.url提取出的主域...
2018-04-11 16:28:41
341
原创 Scrapy突破反爬虫限制
1.用户代理池downloader middleware实现随机更换User-Agent.fake-useragent库:up to date simple useragent faker with real world database.github-搜索fake-useragenthttps://fake-useragent.herokuapp.com/browsers/0.1.5以上这个ur...
2018-04-03 18:16:25
1154
原创 python3.6使用pymysql
1.pymysql安装pip install pymysql(测试连接：import pymysql，如编译未出错，即表示pymysql安装成功)2.插入操作import pymysql db=pymysql.connect(host="127.0.0.1",user="root",password="ts123456",db="blog_spider",port=3307) # 使...
2018-04-02 12:20:04
998
原创 EasyBCD2.2将ubuntu添加到Windows启动菜单
PC安装ubuntu和 Windows双系统，将ubuntu添加windows到启动菜单；流程：EasyBCD -> Add New Entry - Linux/BSD->Type：GRUB 2->Add Entry，重新启动，看是否生效即可！
2018-02-21 21:40:58
2018
原创 [ubuntu]mysqlclient安装及相关错误解决方法
1.mysqlclient安装出错解决方法：sudo apt-get install libmysqlclient-devs
2017-09-15 10:44:14
722
原创 scrapy安装出错总结
安裝scrapy前，先把twisted安裝好，否則一定 會出錯 ！安裝scrapy，去scrapy官網上下載源碼，最好用源碼安裝 。检查scrapy是否已经安装好：在shell界面上，若import scrapy没有出错，则已安装好Error 1.ImportError: No module named 'twisted.persisted'去python第三方库下载最新的twisted解压，py...
2017-08-24 11:30:12
2321
原创 [ubuntu]安装并使用python 3.6及与2.7的切换
当前使用ubuntu14.041.添加python3.6安装包，并安装（也可以去官网下载安装包）linux 报错E: Unable To Locate Package Software-properties-commonhttps://blog.csdn.net/qq_27435059/article/details/80508553 sudo apt-get instal...
2017-08-23 10:34:16
25976
6
原创 [ubuntu]squid3代理配置
http_access访问控制列表:#http_access deny deny_urlhttp_access deny all# TAG: http_access# Allowing or Denying access based on defined access lists添加访问控制：在/etc/squid3下创建控制文件guests：gues
2017-08-21 16:11:54
1712
转载 MySQL数据的备份与还原
一、数据备份 1、使用mysqldump命令备份 mysqldump命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。 mysqldump命令的工作原理很简单。它先查出需要备份的表的结构，再在文本文件中生成一个CREATE语句。然后，将表中的所有记录转换成一条INSERT语句。然后通过这些语句，就能够创建表并插入数据。 1、备份一个数据库
2017-08-12 14:13:49
195
原创 pip 相关命令的应用
1.记录第三方模块pip freeze > requirements.txt安装txt文件里所记录的所有第三方模块pip install -r requirements.txt
2017-08-12 13:45:43
254
原创 [ubuntu]安装virtualenv，virtualenvwrapper出错
在ubuntu 14.04上安装virtualenv，virtualenvwrapper时，出现："no module named upload""virtualenvwrapper ERROR:root:Error parsing"更新好setuptools，就可以解决：sudo pip install --upgrade setuptools安装 爬虫Scrap...
2017-08-12 13:42:43
629
原创 [ubuntu]本地版本库code上传到github
1.在github上创建项目，步骤如下：2.配置远程仓库自行注册GitHub账号。由于你的本地Git仓库和GitHub仓库之间的传输是通过SSH加密的，所以，需要一点设置.第1步：创建SSH Key。在用户主目录下，看看有没有.ssh目录，如果有，再看看这个目录下有没有id_rsa和id_rsa.pub这两个文件，如果已经有了，可直接跳到下一步。如果没有，打开Shell（W
2017-08-09 23:18:17
200
原创 AdminLte学习记录二_box
adminLTE的box是它样式中的主要组成部分，下面基本上列举出来所有的样式和插件，另外我们可以直接在F12的调试窗口(在adminLTE官网上)，选中我们想要的样式，直接复制粘贴。以下是我用过的几个例子，这是adminLTE的box中几种分类，若是没有自己想要的样式，可到官网上去提取想要的格式1、info-box
2017-07-20 10:18:10
1792
原创 AdminLte学习记录一_结构
基本介绍adminLTE是基于bootstrap3的前端框架，并且将bootstrap3进行修改来适应自身的样式。adminLTE除了可以使用bootstrap3的大多数样式之外，自身也提供了一些非常实用的样式包装，并且在样式演示中已经基本罗列出来。adminLTE的js是基于jquery2。adminLTE的插件中使用的基本都是bootstrap和jquery
2017-07-19 16:34:46
1401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人