Mr_lee_long-CSDN博客

原创将scrapy框架爬取的数据保存到MongoDB中

以爬取豆瓣网为例子，使用scrapy框架爬取豆瓣网电影排行榜，并将数据保存到MongoDB中。首先，创建项目 scrapy startproject doubantree一下进入到spider目录，scrapy genspider doubanSpider.├── douban│ ├── __init__.py│ ├── __pycache__│ │ ├── __init_...

2018-03-24 20:37:38 5459

原创 python爬虫实例——用scarpy框架爬取全部新浪新闻

使用scrapy框架爬取新浪网导航页所有的大类，小类的子链接，取出链接页面新闻内容。python版本3.5注意点：spider文件中不写allowed domains,因为后面的子链接的url中跟不包含new.sina.com爬虫运行报错：DEBUG: Filtered offsite request to 'weixin.sogou.com'报错原因：官方对这个的解释，是要request的地址和...

2018-03-24 16:56:23 4724

原创 piplinedb 安装配置

环境centos7.4 piplinedb不能使用root用户操作，提前建好用户一、下载rpm包 https://github.com/pipelinedb/pipelinedb/releases二、安装[steven@steven1 ~]$ mkdir piplinedb[steven@steven1 ~]$ cd piplinedb/[steven@steven1 piplinedb...

2018-05-16 22:20:07 850

原创 postgresql主从配置

master：10.0.1.114slaver：10.0.1.116一、yum安装https://blog.csdn.net/weixin_41048363/article/details/80310285二、主从配置1、主数据配置（10.0.1.114）1.1 初始化/usr/pgsql-9.6/bin/postgresql96-setup initdb1.2 启动postgresqlsyst...

2018-05-16 19:54:44 910

转载 kafka博客

http://www.360doc.com/content/17/0723/21/11253639_673606100.shtmlhttp://www.360doc.com/content/16/0520/03/6902273_560595144.shtmlhttp://www.360doc.com/content/16/0520/03/6902273_560595146.shtmlhttps:/...

2018-05-15 09:27:34 374

原创 centos环境下postgresql安装配置

一、系统环境系统环境centos7.4postgresql版本9.6.3二、安装1、安装rpm包[root@www share]# yum install -y https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm2、安装客户端[root@www s...

2018-05-14 16:12:34 1626

原创 zookeeper

一、zookeeper定义zookeeper是一个针对大型分布式系统的可靠协调系统。1.1 它的功能包括：配置维护，名字服务，分布式同步、组服务等。1.2 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。二、zookeeper的特点1、最终一致性：为客户端展示同一视图。2、可靠性：如果一条消息被一台服务器接受，那么它将被所有服务器接受。3、实时性：z...

2018-05-14 15:31:33 293

转载【转】netstat 命令用法详解

Netstat 简介Netstat 是一款命令行工具，可用于列出系统上所有的网络套接字连接情况，包括 tcp, udp 以及 unix 套接字，另外它还能列出处于监听状态（即等待接入请求）的套接字。如果你想确认系统上的 Web 服务有没有起来，你可以查看80端口有没有打开。以上功能使 netstat 成为网管和系统管理员的必备利器。在这篇教程中，我会列出几个例子，教大家如何使用 netstat 去...

2018-05-10 09:33:47 275

原创 mysql安装以及主从配置

环境：centos7.4 mysql5.7 master：10.0.2.114 slave：10.0.2.115一、mysql安装1.1 在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ 1.2 下载mysql源安装包，安装mysql[root@localhost ~]# wget http://dev.mysql.com...

2018-05-09 23:02:02 208

原创 centos7环境下 redis 编译安装及配置文件介绍

参考：https://www.cnblogs.com/xiewenming/p/7687364.html一、下载-解压-安装[root@linux-node1 src]# cd /usr/local/src/[root@linux-node1 src]# wget http://download.redis.io/releases/redis-4.0.2.tar.gz二、解压[root@linu...

2018-05-09 16:50:33 2067

原创搭建postfix邮件服务，并用talnet发送邮件

一、首先关闭防火墙[root@localhost ~]# systemctl stop firewalld[root@localhost ~]# setenforce 0[root@localhost ~]# getenforcePermissive二、搭建postfix[root@localhost ~]# yum install postfix三、配置postfix[root@local...

2018-05-09 14:42:15 509

转载 nginx配置--反向代理和负载均衡

配置文件及位置[root@localhost ~]# cd /etc/nginx/[root@localhost nginx]# vi nginx.conf如上述配置文件所示，主要由6个部分组成：main：用于进行nginx全局信息的配置events：用于nginx工作模式的配置http：用于进行http协议信息的一些配置server：用于进行服务器访问信息的配置location：用于进行访问...

2018-05-08 15:03:50 588

原创 yum 安装nginx

一、yum安装nginx[root@localhost conf]# yum install nginx已加载插件：fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.163.com * extras: mirrors.aliyun.com * updates: mirrors.aliyun.co...

2018-05-08 14:43:14 760

原创 centos7.4下安装配置nginx

安装前准备环境一. gcc 安装安装 nginx 需要先将官网下载的源码进行编译，编译依赖 gcc 环境，如果没有 gcc 环境，则需要安装：yum install gcc-c++二. PCRE pcre-devel 安装PCRE(Perl Compatible Regular Expressions) 是一个Perl库，包括 perl 兼容的正则表达式库。nginx 的 http 模块使用 pc...

2018-05-08 11:38:28 2111

原创 Apache虚拟主机配置

在一个Apache服务器上可以配置多个虚拟主机，实现一个服务器提供多站点服务，其实就是访问同一个服务器上的不同目录。Apache虚拟主机配置有3中方法：基于IP配置、基于域名配置和基于端口配置，这里介绍基于域名配置和基于端口配置，基于IP配置方法类似。一、基于域名配置1.1 首先查看主配置文件,是否打开了虚拟主机配置选项；[root@localhost test]# vi /etc/httpd/...

2018-05-07 22:02:38 429

原创 Centos7.4 部署Apache服务器

环境：centos7.5 一、安装1.1 安装Apache服务（Apache软件安装包叫httpd）[root@localhost ssh]# yum install httpd -y1.2 开启Apache服务[root@localhost ~]# systemctl start httpd1.3 设置开机自启Apache服务[root@localhost ~]# systemctl enab...

2018-05-07 19:19:40 5648

原创 Debian 9 'Stretch' 安装图文详解教程

配置主机名插入要使用的主机名，如下面的屏幕截图所示：配置域名在主机名之后，让Debian知道域名是什么。在家庭网络的情况下，不需要插入域，所以我们将其留空。新根密码输入root帐户的新密码。使用一个足够安全，因为每个GNU / Linux用户都知道，这是系统中最重要的密码。创建一个新用户创建一个新的非root用户。验证密码，等待。分区创建在这一点上，下一步是磁盘准备。我们需要管理分区方案。 ...

2018-04-13 13:42:38 4896

原创写一个python定时发送消息的脚本——每天跟你女盆友说晚安

首先你要有个女朋友效果需要安装几个包pip install wxpypip install wechat_senderpip install requests代码如下from __future__ import unicode_literalsfrom threading import Timerfrom wxpy import *from wechat_sender import Sen...

2018-03-24 17:43:49 12177 4

原创小程序开发（一）——准备工作

首先到微信公众平台下载微信开发者工具地址：https://mp.weixin.qq.com/ 打开网页往下拉，看到小程序点进去。拉，看到小程序点进去。然后找到开发者工具。下载——选择自己的系统环境。完成安装。下载完成后我们先不要急着下一步操作。此时我们暂定一下去GitHub下载一个东西-weui。这个东西就相当于前段中的bookstrap，能简化我们的操作。然后我们可以打开我们的开发者工具创...

2018-03-21 19:36:17 362

原创 Python爬虫面试常见问题

Python爬虫面试常见问题2018-03-12 莫航 Python达人课堂是否了解线程的同步和异步？1线程同步：多个线程同时访问同一资源，等待资源访问结束，浪费时间，效率低 2线程异步：在访问资源时在空闲等待时同时访问其他资源，实现多线程机制是否了解网络的同步和异步？1同步：提交请求->等待服务器处理->处理完毕返回这个期间客户端浏览器不能干任何事2异步：请求通过事件触发-&gt...

2018-03-12 22:05:30 681

原创 python基础回顾---时间模块

#calendar日历模块import calendar#calendar() 获取一年的日历#result = calendar.calendar(2018,w = 2,l = 1,c = 6,m = 3)#print(result)#month() 获取制定月份的日历#result = calendar.month(2017,11,w = 4,l =3)#print(res...

2018-03-12 20:48:43 165

原创 Python 日期时间处理模块学习笔记

来自：标点符的《Python 日期时间处理模块学习笔记》Python的时间处理模块在日常的使用中用的不是非常的多，但是使用的时候基本上都是要查资料，还是有些麻烦的，梳理下，便于以后方便的使用。关于时间需要先了解的几个概念：秒在1967年的第13届国际度量衡会议上决定以原子时定义的秒作为时间的国际标准单位：铯133原子基态的两个超精细能阶间跃迁对应辐射的9,192,631,770个周期的持续时间,...

2018-03-10 16:30:45 277

原创用python itchat写一个微信机器人自动回复

首先看一下效果：进入正题：一、首先要去图灵机器人网站注册一个机器人账号：链接：http://www.tuling123.com/你可以获取自己的图灵机器人apikey懒得话不注册也可以，我下面的代码里面有我自己的，照样可以用。^_^二、好了，开始上代码。先导入两个包，没有的要先下载安装。直接命令pip install itchat，不出意外就OK。 import itchatimport r...

2018-03-07 16:40:53 2196

原创 python文件相关操作

fp = open('boy.txt','w')fp.write("什么时候你发现自己老了，当你发现卫生纸越来越耐用的时候")fp.close()fp = open('boy.txt','r')a = fp.read()print(a)fp.close()# 小实例while True: username = input("请输入你的名字：【exit退出】") ...

2018-03-02 14:30:09 171

原创列表、字典笔记

var = ['爷爷','奶奶','二奶奶']var[1] = '三奶奶'del var[1]# 不能添加元素# 列表推导式var = [1,2,3,4,5,6,7,8,9]r = [i*3 for i in var]print(r)r = [i for i in var if i%2==0]print(r)# 多循环列表推导式st = ['a','b','c','d'...

2018-03-02 14:10:32 176

原创 Python字符串相关操作--简洁易懂

s = "go,Go fire - IN hOlE 123"print(s.capitalize()) # 首字母大写print(s.title()) # 每个单词首字母大写print(s.upper()) # 将所有字母转为大写print(s.lower()) # 将所有字母转为小写print(s.swapc...

2018-03-02 11:40:09 188

原创一看就懂得python数学模块

# 数学相关模块import mathr = math.floor(3.2) # 向下取整print(r)r = math.ceil(4.5) # 向上取整print(r)r = round(3.4999) # 四舍五入print(r)r = math.pow(3,4) # =3**4print(r)r = math.sqrt(25) # 开...

2018-03-02 10:34:45 1428

原创用python写一个查看微信撤回消息的小功能

import reimport timeimport itchatfrom itchat.content import *@itchat.msg_register([TEXT, PICTURE, MAP, CARD, NOTE, SHARING, RECORDING, ATTACHMENT, VIDEO])def text_reply(msg): print(msg['Tex...

2018-03-01 18:24:52 4677 1

原创网络爬虫5个小实例

京东商品页面爬取url = "https://item.jd.com/5821455.html"try: r = requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding print(r.text)except: print("爬取失败")亚马逊商品页面爬取import r...

2018-02-28 16:27:50 1044

原创 request库的基本用法

requesturllib获取urlrequest = requests.get("http://www...com")request = urllib2.Request("http://www....com",headers = headers)response = urllib2.urlopen(request)获取状态码 request.states_code response.ge...

2018-02-27 19:49:08 17382

原创百度贴吧页面爬取

首先，分析百度贴吧url结构：列如：http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=1200http://tieba.baidu.com/f? + kw={要搜索的关键字} + &ie=utf-8 + &pn=1200kw：要搜索的关键字 &ie=utf-8 字符集 &pn=1200 页...

2018-02-27 11:18:39 834

原创正则表达式练习

1、匹配一段文本中的每行的邮箱y='[email protected]@[email protected]@adfcom'import reret=re.findall('\w+@(?:qq|163|126).com',y)print(ret)['[email protected]', '[email protected]', '[email protected]']2、匹配一段文本中的每行的时间字符串...

2018-02-26 14:02:57 3516

原创用python写一个微信自动回复

最简单的一个小demo，可以自动回复表情，文本，语音不支持，群发不支持。先下载一个python库itchat# coding:utf-8import itchatfrom itchat.content import*import [email protected]_register([TEXT])def text_reply(msg): print('msg:%s'%msg['Tex...

2018-02-26 11:57:52 9699 2

原创 5行代码写一个自定义简单二维码——python

python的优越之处就在于他可以直接调用已经封装好的包首先——下载pillow和qrcode包终端下键入一下命令：pip3 install pillow #python2 用pip install pillowpip3 install qrcodeimport qrcode# 定义一个类名def qrcodeWithUrl(url): img = qrco

2018-02-05 16:15:45 1005

转载 Python ImportError: No module named BeautifulSoup

?1from BeautifulSoup import BeautifulSoup,Tag,CData;为了支持Python 3，所以去主页：http://www.crummy.com/software/BeautifulSoup/下载了beautifulsoup4-4.1.3.tar.gz，并安装了B

2018-02-03 15:48:02 1841

weixin_41048363的博客