2018年02月_数据分析技术

转载三个你在书中无法学到的数据分析知识

三个你在书中无法学到的数据分析知识在大数据特别热门的今天，出现了各种培训课程。但我发现这些课程的重点都放在算法的学习上。如何理解logistic回归或深度学习的确很酷，但一旦你开始处理数据，你会发现还有其他的东西更为重要。我在大学里教了很多年的深度学习，这些课程和讲座总是特别注重特定的算法，你学习支持向量机器、高斯混合模型的聚类、k-均值等等，但是只有在你写硕士论文的时候你需要用到这些方法。那么什...

2018-02-28 21:14:22 123

转载使用python实现生成用户信息

使用python实现生成用户信息今天练习的时候要展示一个从用户信息列表,就想把他做成信息和修改在一起的一个网页,方便用户修改内容考虑到要把信息和值分开放,那么肯定是字典了,因为需要保证位置不变,使用有序字典考虑到需要解析方便和好看点,所以让models.py中返回的就直接是”k1 v1 k2 v2”格式第一步:修改models.py文件,将之前的分割符全部去掉,使用空格分割为了省事和可读的折中吧,...

2018-02-27 20:49:54 735

转载 R语言-统计学描述性统计

R语言-统计学描述性统计描述定量数据的数值方法：中心趋势度量变异的度量相对位置的度量。1.中心趋势度量：算数平均中位数众数1.1 在R中计算平均数的函数 mean( )常规的mean() 函数用法 mean(x, trim = 0, na.rm = FALSE, ...) 参数说明： x 对象名称trim 过滤掉异常值，按照距离平均值...

2018-02-26 21:01:38 2156

转载常用的4种大数据分析方法

常用的4种大数据分析方法本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方...

2018-02-25 21:19:20 479

转载统计分析学习之数值分析方法

统计分析学习之数值分析方法最近补了一些统计学的知识，大多都在这些年的学习中接触过，这里做个总结，以便回头方便看。从以下几个方面对数值进行分析：数值的位置平均数与中位数这个最常见的就是平均值和中位数了，平均值指的是数据在数值上的中心位置，是所有数和的平均，而中位数是一个样本序列在数值上的中间，序列长度为奇数是，中位数就是最中间的那个。我们可以吧平均数理解为样本序列在数学上的中间位置，把中位数理解为样...

2018-02-24 20:51:31 1297

转载 R语言基础语法

R语言基础语法学习一个新编程语言的惯例是什么？，当然是编写一个“Hello，World！”，下面我们将演示如何使用R编程编写一个“Hello，World！”程序。根据需要，您可以在R命令提示符下编程，也可以使用R脚本文件编写程序。R命令提示符当安装好了R开发环境以后，那么通过在命令提示符下键入以下命令，就可以启动R命令提示符 -$ RShell或者，在Windows系统下 -C:\Users\Ad...

2018-02-23 13:56:58 311

转载 Python读取文件内容的三种常用方式及效率比较

Python读取文件内容的三种常用方式及效率比较本文实例讲述了Python读取文件内容的三种常用方式。分享给大家供大家参考，具体如下：本次实验的文件是一个60M的文件，共计392660行内容。程序一： def one(): start = time.clock() fo = open(file,'r') fc = fo.readlines() num = 0 for l in fc:...

2018-02-22 20:48:56 13542

转载 python环境变量和import模块导入方法

python环境变量和import模块导入方法1、定义模块：本质就是.py结尾的文件（逻辑上组织python代码）模块的本质就是实现一个功能文件名就是模块名称包：一个有__init__.py的文件夹；用来存放模块文件2、导入模块import 模块名form 模块名 import *from 模块名 import 模块名 as 新名称3、导入模块本质import 模块名 ===》将模块中所有...

2018-02-21 20:21:06 2735

转载数据挖掘之七种常用的方法

数据挖掘之七种常用的方法数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程　　利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。　　①　分类。分类是找出数据库中一组数据对象的共...

2018-02-19 20:46:03 579

转载 Python判断文件和字符串编码类型的实例

Python判断文件和字符串编码类型的实例python判断文件和字符串编码类型可以用chardet工具包，可以识别大多数的编码类型。但是前几天在读取一个Windows记事本保存的txt文件时，GBK却被识别成了KOI8-R，无解。然后就自己写了个简单的编码识别方法，代码如下：coding.py# 说明：UTF兼容ISO8859-1和ASCII，GB18030兼容GBK，GBK兼容GB2312，GB...

2018-02-18 21:11:06 1033

转载你不得不知的数据分析法

你不得不知的数据分析法数据分析，最先要明确的是目的，没有目的，就没有方向。目的是做数据分析的一条主线，根据目的才能去想要什么数据，要经过哪些处理，再进行什么样的分析，得出什么样的报告。那么，我们就来进行数据分析的第一步，我们先来假设一个命题，也就是我们的目的。做电商的人都知道，流量对于店铺来说，是一个很重要的东西，而要有流量，就要有展现，展现分很多，各种活动，直通车钻展，当然还有大家最喜欢的免费流...

2018-02-17 18:40:08 212

转载 Python字符串拼接六种方法介绍

Python字符串拼接六种方法介绍Python字符串拼接的6种方法：1.加号第一种，有编程经验的人，估计都知道很多语言里面是用加号连接两个字符串，Python里面也是如此直接用“+”来连接两个字符串； print 'Python' + 'Tab'结果： PythonTab2.逗号第二种比较特殊，使用逗号连接两个字符串，如果两个字符串用“逗号”隔开，那么这两个字符串将被连接，但是，字符串...

2018-02-16 20:19:13 2530

转载 Python使用matplotlib填充图形指定区域代码示例

Python使用matplotlib填充图形指定区域代码示例本文代码重点在于演示Python扩展库matplotlib.pyplot中fill_between()函数的用法。importnumpy as npimportmatplotlib.pyplot as plt # 生成模拟数据x=np.arange(0.0,4.0*np.pi,0.01)y=np.sin(x) # 绘制正弦曲线plt.pl...

2018-02-15 13:31:39 9260

转载 Python文件读取的3种方法及路径转义

Python文件读取的3种方法及路径转义这篇文章主要介绍了Python文件读取的3种方法及路径转义,本文分别给出读取文件的代码实例,最后讲解了路径转义的相关知识、小技巧,需要的朋友可以参考下1.文件的读取和显示方法1：代码如下: f=open(r'G:\2.txt') print f.read() f.close()方法2：代码如下: try: t=open(r'G:\2.txt') ...

2018-02-14 23:17:59 8907

转载大数据分析的基础

大数据分析的基础大数据主要就是那些数据量大、速度快、有很多的类型以及并不是所有的数据都是有价值的，怎么对大数据进行分析，是计算机行业的难题，也是现在比较人们的话题，数据的价值性、安全性等问题受到越来越多人的重视，那么现在都是基于什么基础对大数据进行分析的。第一、看图说话就是利用一些图表类型，将一些数据通过不同的指标和基数进行比较，大数据不是只有做大数据分析的人员才会看到，网友作为普通的用户也是可以...

2018-02-14 10:49:45 609

转载 Python操作MySQL数据库9个实用实例

Python操作MySQL数据库9个实用实例在Windows平台上安装mysql模块用于Python开发用python连接mysql的时候，需要用的安装版本，源码版本容易有错误提示。下边是打包了32与64版本。MySQL-python-1.2.3.win32-py2.7.exeMySQL-python-1.2.3.win-amd64-py2.7.exe实例 1、取得 MYSQL 的版本 # ...

2018-02-13 20:53:06 289

转载 Python字典,函数,全局变量代码解析

Python字典,函数,全局变量代码解析字典 dict1 = {'name':'han','age':18,'class':'first'}print(dict1.keys()) #打印所有的key值print(dict1.values()) #打印所有的values值print("dict1['name']:",dict1['name']) #打印name相对应的value值...

2018-02-12 20:41:38 1104

转载 Python模拟随机游走图形效果示例

Python模拟随机游走图形效果示例本文实例讲述了Python模拟随机游走图形效果。分享给大家供大家参考，具体如下：在python中，可以利用数组操作来模拟随机游走。下面是一个单一的200步随机游走的例子，从0开始，步长为1和-1，且以相等的概率出现。纯Python方式实现，使用了内建的 random 模块：# 随机游走importmatplotlib.pyplot as pltimportran...

2018-02-11 21:43:47 3675

转载 Python实现字符串匹配算法代码示例

Python实现字符串匹配算法代码示例字符串匹配存在的问题Python中在一个长字符串中查找子串是否存在可以用两种方法：一是str的find()函数，find()函数只返回子串匹配到的起始位置，若没有，则返回-1；二是re模块的findall函数，可以返回所有匹配到的子串。但是如果用findall函数时需要注意字符串中存在的特殊字符蛮力法字符串匹配：将模式对准文本的前m（模式长度）个字符，然后从左...

2018-02-10 21:39:28 1825

转载 python数据结构之图深度优先和广度优先实例详解

python数据结构之图深度优先和广度优先实例详解本文实例讲述了python数据结构之图深度优先和广度优先用法。分享给大家供大家参考。具体如下：首先有一个概念：回溯回溯法(探索与回溯法)是一种选优搜索法，按选优条件向前搜索，以达到目标。但当探索到某一步时，发现原先选择并不优或达不到目标，就退回一步重新选择，这种走不通就退回再走的技术为回溯法，而满足回溯条件的某个状态的点称为“回溯点”。深度优先算法...

2018-02-09 19:46:26 215

转载举例讲解Python中metaclass元类的创建与使用

举例讲解Python中metaclass元类的创建与使用元类是可以让你定义某些类是如何被创建的。从根本上说，赋予你如何创建类的控制权。元类也是一个类，是一个type类。元类一般用于创建类。在执行类定义时，解释器必须要知道这个类的正确的元类，如果此属性没有定义，它会向上查找父类中的__metaclass__属性。如果还没发现，就查找全局变量。对于传统类来说，它们的元类是types.ClassTyp...

2018-02-08 20:53:30 320

转载 python中xrange和range的区别

python中xrange和range的区别range 函数说明：range([start,] stop[, step])，根据start与stop指定的范围以及step设定的步长，生成一个序列。range示例:代码如下:>>> range(5)[0, 1, 2, 3, 4]>>> range(1,5)[1, 2, 3, 4]>>> range(0,6,

2018-02-07 19:25:34 148

转载 python获取指定目录下所有文件名列表的方法

python获取指定目录下所有文件名列表的方法本文实例讲述了python获取指定目录下所有文件名列表的方法。分享给大家供大家参考。具体实现方法如下：这里python代码实现获取文件名列表的功能，可以指定文件中包含的字符，方便提取特定类型的文件名列表： # -*- coding: utf-8 -*- #~ #-------------------------------

2018-02-06 08:34:02 6686

转载建立大数据分析能力需四大要素

建立大数据分析能力需四大要素如今，企业都嗅到大数据带来的巨大价值，纷纷发力大数据领域，其中，建立大数据分析能力，是企业运用大数据的关键环节。领先的企业主要从四个方面入手建立自己的大数据分析能力：高质量的数据、先进的工具、精通数据的员工以及支持分析决策的流程和激励机制。要素一：数据任何一个企业都首先需要制定一个数据收集和整理的策略规划，这一规划必须明确定义如何利用大数据为企业

2018-02-05 22:07:30 5383

转载 Python中使用动态变量名的方法

Python中使用动态变量名的方法如果要写一个程序，让x1为1，x2为2，然后直到x100为100，你会怎么做？在C这种静态语言里，变量名这个标识符实际上会被编译器直接翻译成内存地址，所以除了手动设置每个变量的值以外，没办法做到这点。而Python这种动态语言则是可以做到的。最容易想到的自然是eval，但是实际上根本不需要这种危险的东西，因为Python的变量名就是一个字典

2018-02-03 19:53:25 2814

转载 Python代理抓取并验证使用多线程实现

Python代理抓取并验证使用多线程实现这里没有使用队列只是采用多线程分发对代理量不大的网页还行但是几百几千性能就很差了，感兴趣的朋友可以了解下，希望对你有所帮助没有使用队列，也没有线程池还在学习只是多线程代码如下:#coding:utf8 import urllib2,sys,re import threading,os import time,datet

2018-02-02 19:28:51 315

转载 Python字符串转换成浮点数函数分享

Python字符串转换成浮点数函数分享本文给大家分享的是一则使用Python实现字符串转换成浮点数的代码，主要是使用map和reduce方法来实现，有需要的小伙伴可以参考下。利用map和reduce编写一个str2float函数，把字符串'123.456'转换成浮点数123.456 from functools import reduce def str

2018-02-01 20:33:14 2539

jiahaowanhao的博客