renrenxiaoxiao-CSDN博客

转载 php基础

1.行尾的分号；2.中文乱码 html<?phpheader("Content-Type: text/html;charset=utf-8");?>3.输出换行echo "<br>" 引号不能缺少4.单双引号皆可5.数据类型：String（字符串）, Integer（整型）, Float（浮点型）, Boolean（布尔型）, Array（...

2019-02-27 14:37:28 118

原创 uwsgi+nginx+Ubuntu部署Django项目（阿里云）

如果使用默认的python 首先安装程序需要的包apt-get install python-devapt-get install python-pipapt-get install net-toolsapt-get install lsof安装数据库apt-get install mysql-serverapt-get install mysql-clientapt-get install ...

2018-05-28 14:13:24 630

原创插入更新删除数据，索引，视图，创建用户，修改当前用户密码

插入:INSERT INTO 表(字段1，字段2，字段3...)VALUES(值1，值2，值3...);同时插入多条数据:INSERT INTO 表(字段1，字段2，字段3...)VALUES(值1，值2，值3...),(值1，值2，值3...)...;或者在命令行中 :INSERT INTO 表(字段1，字段2，字段3...)VALUES(值1，值2，值3...),(值1，值2，值3...),....

2018-04-12 21:16:44 275

原创 MySQL数学函数查询数据

绝对值函数ABS(x)SELECT ABS(-2); 2获取整数的函数 CEIL(X) 返回不小于x的最小整数值 FLOOR(X) 返回不大于x的最大整数值SELECT CEIL(-3.35); -3SELECT FLOOR(-3.35); -4四舍五入函数 ROUND(X) ROUND(X,Y)保留小数点后Y位SELECT ROUND(-1.14); -1SELECT ROUND(1.38...

2018-04-11 19:54:03 227

原创数据可视化seaborn

# seaborn 这个包是在matplotlib的基础上封装的一个绘图工具包，支持numpy和pandas的统计结果可视化import numpy as npimport pandas as pd from scipy import statsimport matplotlib.pyplot as pltimport seaborn as sn# 可视化单一变量、二维变量，比较数据集中各变量的分...

2018-04-10 22:22:21 328

原创 mysql基本操作

基础操作create database Market;show databases;use Market;# 创建表customerscreate table customers(c_num int(11) primary key not null auto_increment,c_name varchar(50),c_contact varchar(50),c_city varchar(50),...

2018-04-10 21:16:27 715

原创数据可视化

# matplotlib 可以创建出版书籍中的绘图工具包import matplotlib.pyplot as pltimport numpy as np# 正态直方图import scipyfrom scipy import stats# 创建一维数组arr = np.random.rand(100)arr = np.arange(100)# 折线图plt.plot(arr)plot.show(...

2018-04-09 22:45:57 239

原创 pandas数据的分组和聚合

import pandas as pd# 分组# 对数据进行分组，对每一组的数据进行计算# SQL是可以对数据进行分组和过滤的# Pandas可以通过groupby函数对数据进行更加复杂的分组运算# 分组运算的过程# 1.分组根据某些要求分组# 2.运算根据不同的分组数据进行不同的运算# 3.合并把每一个分组的运算结果合并在一起dict_data = { 'key1':['a','b'...

2018-04-03 22:54:00 269

原创 pandas数据操作

import pandas as pdimport numpy as np# Series是一个一维数组的对象# 1.通过列表创建Series对象# 由索引和数据组成的，左边是索引右边是数据ser_obj = pd.Series(range(10,20))# 获取索引 RangeIndex是索引的类型print(ser_obj.index)# 获取值print(ser_obj.values)# ...

2018-04-03 22:22:22 309

原创 numpy的基本用法与其中的函数

# 引入numpy 重命名为npimport numpy as np# 生成一个numpy中的一维数组# numpy中的数组,存储的所有数据必须是同质(相同类型)的a_arr = np.arange(10)b_arr = np.arange(10)# 直接使用数组做向量运算的,会把运算作用到数组中的每一个元素中c_arr = a_arr * b_arr# 创建数据的几...

2018-04-03 21:29:04 696 2

原创布隆去重

将下载好的bloomfilter文件例如 BloomfilterOnRedis放在scrapy_redis中打开dupefilter.py文件首先导入from .BloomfiterOnRedis import BloomFilter在初始化函数中添加self.bf = BloomFilter(server=server, key=key)在reque_seen函数中添加判断# 集成布隆过滤# 过...

2018-03-30 21:31:53 220

原创异步写入数据库

import pymysql'同步写入数据库速度比较慢，而爬虫速度比较快，可能导致数据最后写入不到数据库中''''1.引入twisted.enterprise.adbapi pymysql.cursors2.在settings中配置数据库连接参数3.创建pipeline，实现from_settings函数，从settings获取数据库连接参数，根据参数创建连接池对象，返回当前pipeline的对...

2018-03-30 21:21:14 4707

原创爬取json数据网站

scrapy框架爬取网页时查看网页时查看网络，如果是post数据就不能直接getimport scrapy,jsonclass XXXSpider(scrapy.Spider)： name = 'xxx' allowed_domains = ['域名'] base_url = 'http://www.XXX.com' def start_requests(self):# ...

2018-03-30 20:33:57 3954

原创一个简单的爬虫

一：首先修改settings1.机器遵循的特定的规则，如果遵守可能不能爬取数据，所以需要设值为FalseROBOTSTXT_OBEY = False2.爬取速度过快，可能会被对方发现，所以需要修改停顿间隔DOWNLOAD_DELAY = 0.53.禁用cookie追踪COOKIES_ENABLED = False4.修改系统默认值调用useragentDOWNLOADER_MIDDLEWARES...

2018-03-30 19:52:33 220

原创 pyspider

pip install pyspider 下载pyspider输入pyspider运行打开网页输入127.0.0.1:5000create一个项目 url以天堂图片网为例点击projectname可以编辑爬虫代码在下载的MongoDB中打开bin在此处打开命令行将数据写入MongoDB#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created o...

2018-03-30 17:30:49 302

原创 python虚拟环境

python虚拟环境的安装和配置（Windows）1.在电脑上将python安装完成，并记住安装的路径2.配置系统环境变量（控制面板--系统--高级（环境变量）--系统变量）的path路径，编辑添加路径的版本即为默认使用版本3.在命令行工具中输入 pip install virtualenv 下载python虚拟环境4.若使用pip下载包时，经常出现超时等情况，可以使用国内镜像提高下载速度，例如...

2018-03-22 21:49:32 378

原创登录

scrapy post请求登录# -*- coding: utf-8 -*-import scrapyclass ChoutiSpider(scrapy.Spider): name = 'chouti' allowed_domains = ['chouti.com'] start_urls = ['http://chouti.com/'] # 第一次请求之后返回的响应 ...

2018-03-20 15:59:32 196

原创 pymysql操作MySQL数据库

# mysql-python python2中使用这个包支持python操作mysql# python pymysql操作mysql数据库import pymysql# 1.链接数据库db = pymysql.connect( # 链接的数据库的host主机地址:默认本地数据库使用localhost或者127.0.0.1,如果是远程数据库,需要设置为主机的ip地址 host='loc...

2018-03-19 22:18:30 291

原创 scrapy将爬取的python数据用jsonExceldatabase显示

# -*- coding: utf-8 -*-import sqlite3import jsonimport codecsimport xlwt# Define your item pipelines here# Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/...

2018-03-17 09:56:44 200

原创 scrapy图片文件下载

1.取出http网址background-image:url(http://img.blog.csdn.net/20171116165413931)img_rhef = div.xpath('').extract_first('') img_href = img_hrefs.split('(')[-1] img_href = img_hrefs.strip(')')2.把图片下载到本地...

2018-03-17 09:44:47 321

原创 selenium登录

这里用的是云打码平台：# -*-coding:utf-8 -*-import http.client, mimetypes, urllib, json, time, requestsfrom http import cookiejar##########################################################class YDMHttp: # 配置用户信...

2018-03-13 21:49:53 380

原创二苟

1.安装红旗Linux有两个必备的分区，分别是什么根文件系统分区交换分区2.请说明下述两个命令的功能：mv /home/* ;将目录 /home中的所有文件移动到当前目录中 mv ex3 newl将文件ex3改名为newl3.将文件exl的权限修改为所有用户都拥有读，写和执行的权限chmod a+r+w+x exl a+r,a+w,a+x4.解释vi命令方式下，下述命令...

2018-03-09 20:30:45 380

原创 lxml

# -*- coding:utf-8 -*-# lxml xpath会用到里边的treefrom lxml import etree# parse()函数# 用来解析本地的html文件# 如果文件里有单标签，需加/做结束标志# html源代码解析之后转换成一个ElementTree对象html = etree.parse('index.html')print(html)# ElementTree ...

2018-03-09 12:46:19 239

原创苟

Linux的版本：核心版本和发行版本核心版本的序号由三部分数字组成，其形式为：major.minor.patchlevelmajor为主版本号，minor为次版本号，二者共同构成了当前核心版本号patchlevel表示对当前版本的修订次数次版本号为奇数表示不稳定，相当于测试版，为偶数表示是可使用的稳定版发行版本通常与安装界面、系统设定、管理工具等软件构成一个发行套装则该参数被解Red Hat/F...

2018-03-08 22:19:48 183

renrenxiaoxiao的博客