y15518325965-CSDN博客

原创 Pandas分组

# coding: utf-8# # 分组# ## 对数据集合进行分类，然后方便对每一组的数据进行统计分析# ## 分组运算过程：split（切割）——apply（应用）——combine（合并）# ## 切割：根据什么数据进行分组# ## 应用：每一个分组后的数据怎么处理，怎么计算，指的是数据的处理过程# ## 合并：将每一个分组计算后的结果合并起来，统一展示import n...

2018-03-02 19:06:03 354

原创 Pandas统计函数

# coding: utf-8import pandas as pdimport numpy as npdf = pd.DataFrame(np.random.randn(5,4),columns=['a','b','c','d'])print df#sum()：统计每一列相加的和df.sum()df.sum(axis=1)# 统计每一行相加的值# max():求当前列...

2018-03-02 18:59:16 254

原创 pandas数据的索引操作

# coding: utf-8# # Series索引# ## 行索引import pandas as pdimport numpy as npser_obj = pd.Series(range(5),index=['a','b','c','d','e'])print ser_obj# 行索引获单个值print ser_obj['b'],ser_obj['e']# 切片索引...

2018-03-02 18:57:24 1752

原创 pandas数据结构

# coding: utf-8#Pandas是numpy的升级版，功能比numpy更高级import pandas as pdimport numpy as np# # Pandas库主要定义了两种数据类型# ## Series# ## DataFrame#通过一个list列表构建一个Series数据ser_obj = pd.Series(range(1,10))pri...

2018-03-02 18:41:44 141

原创 numpy基本使用

# coding: utf-8# # numpy的数据结构是一个n维的数组，理解为ndarray.# ## 主要是用于数值计算，处理矩阵。对于多维数据的处理效率，比python自带的列表嵌套效率要高。# 两个列表中对应元素依次相乘的一般写法a_list = xrange(10)b_list = xrange(10)c_list = []for x in xrange(len(a...

2018-03-01 18:13:41 266

创建视图使用CREATE VIEW语句在单表上创建视图在多表上创建视图查看视图DESCRIBE|DESC 可以用来查看视图：DESCRIBE|DESC 视图名；SHOW TABLE STATUS 查看视图：SHOW TABLE STATUS LIKE‘视图名’；SHOW CREATE VIEW语句查看视图：SHOW CREATE VIEW 视图名；修改视图CREATR OR REPLACE VIE...

2018-02-28 19:32:25 172

原创 mysql索引

创建表的时候创建索引：CREATTABLE table_name [col_name date_type] [UNIQUE|FULLTEXTSPATIAL] [INDEX|KEY] [index_name] (col_name [lenght]) [ASC|DESC]UNIQUE、FULLTEXT和SPATIAL为可选参数，分别表示唯一索引、全文索引和空间索引；INDEX与KEY为同义词，两者作用...

2018-02-28 19:06:26 377

原创 MySQL插入、更新、删除数据

插入数据：INSERT语句插入数据要求指定表名称和插入到新记录中的值。基本语法为：INSERT INTO table_name (column_list) VALUES (value_list); table_name指定要插入数据的表名，column_list指定要插入数据的那些列，value_list指定每个列应对应插入的数据，使用该语句时字段列和数据列的数量必须相同。 INSERT 语句...

2018-02-27 15:36:47 818

原创 mysql查询数据

查询所有字段：在select语句中使用星号“*”通配符查询所有的字段语法为：select * from 表名；查询字段：select 字段名1，字段名2，…，字段名n from 表名；查询指定的记录语法为：select 字段名1，字段名2，…，字段名n from 表名 where 查询条件；带IN关键字的查询IN操作符用来查询满足指定范围内的条件的记录，使用IN操作符，将所有检索条件用括号括起来...

2018-02-26 23:00:22 451

原创 MySQL运算符

1.算术运算符用于各类数值运算。包括加（+）、减（-）、乘（*）、除（/）、求余（或称模运算，%）2.比较运算符用于比较运算。包括大于（>）、小于（<）、等于（=）、大于等于（>=）、小于等于（<=）、不等于（！=）以及IN、BETWEEN AND、IS NULl、GREATEST、LEAST、LIKE、REGEXP等3.逻辑运算符逻辑运算符的求值所得结果均为1（TRUE）...

2018-02-26 22:31:05 606

原创 MySQL数据类型

MySQL支持多种数据类型，主要的数值类型、日期/时间类型和字符串类型（1）数值类型数据：包括整数类型 TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT、浮点小数数据类型FLOAT和DOUBLE、定点小数类型DECIMAL（2）日期/时间类型：包括YEAR、TIME、DATE、DATETIME和TIMESTAMP（3）字符串类型：包括CHAR、VARCHAR、BINARY...

2018-02-26 20:45:49 228

原创 MySQL的基本操作

2018-02-26 19:20:03 240

原创 html盒模型

<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title>盒模型</title> <style type="text/css"> di

2018-03-06 21:09:37 405

原创 css样式设置

<!DOCTYPE html><html><head> <meta charset="utf-8"> <title>CSS的三种设置样式</title> <!-- 3.外部样式：在外部单独定义一个.css样式的文件，在.html中进行引入。外部样式的优先级最低，一般有大量的css

2018-03-06 21:09:02 545

原创 html中css选择器

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>css选择器</title> <style> /*style标签内部是用来设置css选择器的*/

2018-03-06 21:08:22 543

原创 html标签类型及转化

<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title>html标签类型及其转化</title> <style type="text/css">

2018-03-06 21:07:21 1287

原创 html基础

<!DOCTYPE html><html> <head>  <meta charset="utf-8"> <mete nema="author" value="张三"> &

2018-03-06 21:06:50 191

原创读取csv文件生成分析图形

# coding:utf-8import sysreload(sys)sys.setdefaultencoding('utf-8')import pandas as pdimport matplotlib.pyplot as pltfrom matplotlib import styledataset_path = 'Mountains.csv'#设置中文字体正常显示pl...

2018-03-06 21:03:19 4754

原创读取csv文件并生成分析图形

# coding:utf-8import pandas as pd import numpy as np import matplotlib.pyplot as plt #读取csv文件中的数据data = pd.read_csv('FoodFacts.csv')#分析各个国家食物中食品添加剂种类个数#1.处理数据#删除空数据# data = data.dropna()...

2018-03-06 21:02:06 6467

原创 14.数据可视化库matplotlib

# coding: utf-8import matplotlib.pyplot as pltimport numpy as np# * 散点图#plot()该函数是制作线形图plt.plot([1,2,5,4,2,6,4])plt.show()# * subplot()在同一个平面上，创建多个子图x = [1,2,3,4]y = [5,4,7,2]#创建...

2018-03-06 21:00:57 232

原创 13.json文件的操作

# coding: utf-8import json# json.load(json文件操作句柄)# json.loads(json字符串)# json.dump(写入文件句柄)# json.dumps(python对象)# ## 读取json文件file_name = 'json.txt'try: with open(file_name,'r') as...

2018-03-06 20:59:29 308

原创 12.csv文件的操作

# coding: utf-8import csvwith open('1.csv','r') as f: res=csv.reader(f) for index,data in enumerate(res): print index print data# # pandas操作CSV文件# import pandas a...

2018-03-06 20:58:13 177

原创 11.txt文件的操作

# coding: utf-8file_obj = open('1.txt','w')for x in xrange(5): file_obj.write('%s===='%x) file_obj.write('\n')file_obj.close()# 文件读取f = open('1.txt','r')content = f.read()f.close(...

2018-03-06 20:57:11 250

原创 10.Pandas数据的转化

# coding: utf-8import numpy as npimport pandas as pddf = pd.DataFrame( { 'data1':['a']*4 + ['b']*4, 'data2':np.random.randint(0,4,8) })print df# 处理重复数据的函数duplicate...

2018-03-06 20:56:24 797

原创 9.Pandas数据的重构

# coding: utf-8import pandas as pdimport numpy as np# * stack()# * unstack()df =pd.DataFrame(np.random.randint(0,15,(5,2)),columns=['data1','data2'])print df# stack()将列索引转换一个行索引，从而形成一个...

2018-03-06 20:55:40 436

原创 8.Pandas数据合并concat

# coding: utf-8import pandas as pdimport numpy as nparr1=np.random.randint(0,10,(3,4))arr2=np.random.randint(0,10,(3,4))print arr1print arr2# * numpy中的合并函数concatenate()# 按照列合并np.conc...

2018-03-06 20:54:56 260

原创 Pandas数据合并merge

# coding: utf-8import pandas as pdimport numpy as npdf_obj1 = pd.DataFrame({ 'key':['a','b','a','c','b','a','a'], 'data1':np.random.randint(0,10,7)})print df_obj1df_obj2 = pd.Data...

2018-03-06 20:53:13 435

原创 Pandas分组运算后数据的合并

# coding: utf-8# * 分组运算之后在得到的最终结果改变了分组之前原始数据的形状shape，如何在进行聚合之后保持数据的原始shape？import pandas as pdimport numpy as npdict_obj = { 'key1':['a','b','a','b','a','b','a','b'], 'key2':['one','t...

2018-03-06 20:51:57 4204

原创 Pandas聚合

# coding: utf-8import numpy as npimport pandas as pd# # 聚合，常用语对分组后的数据进行计算# ## 常用的内置聚合函数： sum() mean() max() min() count() size()# ## 也可以通过自定义函数，传入agg()方法中，实现dict_obj = { 'key1':['a','b'...

2018-03-06 20:50:43 227

原创线程锁

#coding:utf-8#__author__='wang'#线程锁：当多个分线程同时对一个数据进行修改时，可能会导致数据的结果出现错误，线程锁就是保证多个分线程在操作同一个数据的时候，一次只允许一个分线程进行访问，保证数据结果的正确性，而不会发生数据的错乱import threading#银行存款的示例money = 0def get_money(number): ...

2018-03-01 19:32:15 154

原创多线程爬虫

#coding:utf-8import threadingimport requestsfrom lxml import etree#队列类：类似于一个容器，遵循新进先出原则，类似于一个管道from Queue import Queuefrom fake_useragent import UserAgent'''1.下载网页源代码（下载器类），解析源代码（解析类）2.创建...

2018-03-01 19:31:50 129

原创多线程

#coding:utf-8#__author__='wang'#进程和线程的基本概念：#进程：负者维护一个应用程序的启动及运行，一个应用程序的启动至少要保持一个进程，这个进程负者给一个任务指定线程同时负者分配内存空间，是一个管理者#一个进程里面至少存在一个线程，被称为主线程，除了主线程之外还有一些分线程，线程就是用于同时执行多个任务的#线程是执行任务的最小单位，线程和进程是由操作系...

2018-03-01 19:30:55 101

原创 selenium登录知乎

#coding:utf-8#__author__='wang'import time,os,requestsfrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptiondef login(): if os.path.exists('cookie.txt')...

2018-03-01 19:29:42 666

原创 selenium爬取豆瓣

#coding:utf-8#__author__='wang'import timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaiturl = 'https://movie.douban.com/'#获取电影详情地址以及电影的名称def get_datai...

2018-03-01 19:28:16 505

原创 selenium小说下载

#coding:utf-8#__author__='wang'import os,timefrom selenium import webdriverdriver = webdriver.Firefox()driver.get('file:///D:/untitled/1.17/wanmeishijiexiaoshuo/index.htm')#先获取第三个clsaa='bg'的...

2018-03-01 19:25:24 226

原创 selenium下载图片

#coding:utf-8#__author__='wang'#phantomJS:selenium+phantomJS实现动态网站数据的爬取，该工具被称为幽灵浏览器，也可以像浏览器一样去渲染JS加载的页面，只不过没有界面，运行速度比启动客户端又快一些#注意：phantomJS解析的动态网页源码可能会存在和Firefox()客户端解析的动态网页源码不一样的情况#通过cmd命令ph...

2018-03-01 19:24:32 3746

原创 selenium验证码登录

#coding:utf-8#__author__='wang'import timefrom YDMHTTPDemo import yan_zhengfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium import webdriver#PIL是用于对图片进行操作的第三方库，anaconda集成工具中...

2018-03-01 19:23:34 1509

原创 selenium窗口切换

#coding:utf-8#__author__='wang''''1.在同一个标签选项卡上打开不同的页面，相当于是使用同一个window窗口打开不同的页面，window对象没有变2.不同选项卡打开不通的页面，window对象会发生改变，此时注意切换window对象否则无法定位新的页面中的元素'''import timefrom selenium import webdriv...

2018-03-01 19:22:44 194

原创 selenium爬取豆瓣电影

#coding:utf-8#__author__='wang'import os,timefrom selenium import webdriverdriver = webdriver.Firefox()driver.get('https://movie.douban.com/top250')time.sleep(3)for x in xrange(1,11): pri...

2018-03-01 19:22:00 684

原创 selenium爬取离线小说

#coding:utf-8#__author__='wang'import osimport timefrom selenium import webdriverpage = 0driver = webdriver.Firefox()driver.get('file:///C:/Users/Administrator/Desktop/PythonSix/1-16/wanmei...

2018-03-01 19:21:05 287

空空如也

空空如也