python读取GB级的文本数据,防止memoryError

由于python水平不够,很多高效的方法不太了解,最近在处理大文本数据时,用老方法读取文件内容,容易内存溢出,所以找到这个教程,目前正在读取1.5G的文本文件。 转载地址来源:http://chenqx.github.io/2014/10/29/Python-fastest-way-to-rea...

2018-09-27 18:26:34

阅读数:31

评论数:0

python3中argparse模块

1、定义:argparse是python标准库里面用来处理命令行参数的库 2、命令行参数分为位置参数和选项参数:         位置参数就是程序根据该参数出现的位置来确定的                 如:[root@openstack_1 /]# ls root/    #其中roo...

2018-08-30 09:01:10

阅读数:59

评论数:0

Maxout网络学习

一、相关理论    本篇博文主要讲解2013年,ICML上的一篇文献:《Maxout  Networks》,这个算法我目前也很少用到,个人感觉最主要的原因应该是这个算法参数个数会成k倍增加(k是maxout的一个参数),不过没关系,对于我们来说知识积累才是最重要的,指不定某一天我们就需要用到这个...

2018-08-27 19:28:54

阅读数:21

评论数:0

sklearn中的异常检测方法

SKLEARN——Novelty and Outlier Detection简介     很多方法都可以检测一个新的检测样本,是符合当前样本分布的成员还是不一样的利群点。通常,这些方法被用来对真实数据集进行清洗。这些检测方法可以分为两种:novelty detection: The trainin...

2018-07-04 18:01:43

阅读数:54

评论数:0

自组织神经网络算法-SOM

相比于bp神经网络算法,som相对来说比较容易理解。自组织神经网络,是一种用于聚类的神经网络算法,从名字便可以看出,这是一种无监督式的算法,意味着,它不需要任何训练样本,便可以直接对输入样本根据其特征 分类,将具有相似特征的划分为一类。1 算法结构som算法是由两层网络组成,输入层与输出层(也叫作...

2018-07-02 11:18:21

阅读数:85

评论数:0

Hive中的TRANSFORM:使用脚本完成Map/Reduce

首先来看一下数据:12345hive> select * from test;OK1       32       23       1假设,我们要输出每一列的md5值。在目前的hive中是没有这个udf的。我们看一下Python的代码:123456789101112#!/h...

2018-06-22 12:15:52

阅读数:69

评论数:0

Hive调用python脚本实现数据清洗、统计过程

本实例通过python脚本对电影数据进行清洗,帮助读者了解hive调用python脚本的整个流程。操作步骤:1、创建基表CREATE TABLE u_data ( userid INT, //用户ID movieid INT, //电影ID rating INT, //电影...

2018-06-22 12:15:01

阅读数:176

评论数:0

python-对象之hashable&unhashable与immutable&mutable

首先,hashable和unhashable先来看一下官方文档上面对hashable的解释: hashable An object is hashable if it has a hash value which never changes during its lifetime (it need...

2018-03-30 17:00:02

阅读数:44

评论数:0

Python可迭代对象中的添加和删除(add,append,pop,remove,insert)

 学习python的list,tuple,dict,set的时候被插入和删除的用法弄得有点晕,所以进行归纳,以便记忆对于List:[python] view plain copyclassmates = ['Michael', 'Bob', 'Tracy']  classmates.append(...

2018-03-30 13:29:35

阅读数:173

评论数:0

Python之List中remove,pop,del区别分析

Python之List中remove,pop,del区别分析代码块remove#remove删除首个符合条件的元素,并不删除特定的索引。 **n =[1,2,2,3,4,5] n.remove(3) print (n)** #输出 [1, 2, 2, 4, 5]123456pop#pop按照索...

2018-03-30 13:28:05

阅读数:141

评论数:0

python 列表排序方法sort、sorted技巧篇

Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。1)排序基础简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list,新的list的元素基于小于运算符(__lt__)来排序。&...

2018-03-29 13:34:37

阅读数:409

评论数:0

Python遍历列表的四种方法

方式一: app_list = [1234, 5677, 8899] <!-- lang: python --> for app_id in app_list: <!-- lang: python --> ...

2018-03-28 11:03:37

阅读数:92

评论数:0

Python程序员最常犯的十个错误

Python程序员最常犯的十个错误不管是在学习还是工作过程中,人都会犯错。虽然Python的语法简单、灵活,但也一样存在一些不小的坑,一不小心,初学者和资深Python程序员都有可能会栽跟头。本文是Toptal网站的程序员梳理的10大常见错误,非常有参考意义。大家在开发过程中需要格外注意。译文中如...

2018-03-28 10:57:40

阅读数:65

评论数:0

python中format函数

python中format函数用于字符串的格式化通过关键字1 print('{名字}今天{动作}'.format(名字='陈某某',动作='拍视频'))#通过关键字 2 grade = {'name' : '陈某某', 'fenshu': '59'} 3 print('{name}电工考了{fen...

2018-03-28 10:20:37

阅读数:734

评论数:0

python的位置参数、默认参数、关键字参数、可变参数区别

python的位置参数、默认参数、关键字参数、可变参数区别一、位置参数调用函数时根据函数定义的参数位置来传递参数。#!/usr/bin/env python # coding=utf-8 def print_hello(name, sex): sex_dict = {1: u'先生', ...

2018-03-28 10:19:50

阅读数:334

评论数:0

Python中函数的参数传递与可变长参数

Python中函数的参数传递与可变长参数1.Python中也有像C++一样的默认缺省函数1 def foo(text,num=0): 2 print text,num 3 4 foo("asd") #asd 0 5 foo("def...

2018-03-28 09:44:54

阅读数:106

评论数:0

Python一些特殊用法(map、reduce、filter、lambda、列表推导式等)

Map函数:原型:map(function, sequence),作用是将一个列表映射到另一个列表,使用方法:def f(x):    return x**2l = range(1,10)map(f,l)Out[3]: [1, 4, 9, 16, 25, 36, 49, 64, 81]Reduce...

2018-03-27 18:10:47

阅读数:77

评论数:0

sklearn preprocessing 数据预处理(OneHotEncoder)

1. one hot encodersklearn.preprocessing.OneHotEncoderone hot encoder 不仅对 label 可以进行编码,还可对 categorical feature 进行编码:>>&g...

2018-03-26 10:31:53

阅读数:114

评论数:0

精通Python自然语言处理

import nltktext=" Welcome readers. I hope you find it interesting. Please do reply."from nltk.tokenize import sent_tokenizeprint(se...

2018-03-23 13:48:55

阅读数:302

评论数:0

python——双重列表推导式+函数,优雅而强大

看书的过程中,看到了这种精妙(书里译文如此)的用法。使用场景如下:列表ls:[python] view plain copyls = [('x',['open1','open1','open1']),('y',['open1','open1','open0']),('z',['open0','op...

2018-03-21 15:38:28

阅读数:81

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭