- 博客(13)
- 收藏
- 关注
RSS订阅原创 Python读写hadoop文件
最近经常需要操作hadoop集群进行文件读、写、上传、下载等这里总结一下使用方法：首先需要借助三方库pyhdfs创建一个hadoop连接对象hdfs_client = pyhdfs.HdfsClient(hdfs_ip,hdfs_port,hdfs_user)假设hadoop现有目录：/home/data/下有一个文件2018-06-28.out那么我们如何查看该目录下的文件呢？方法（类似于os）...
2018-06-28 11:40:40
8522
原创 Python列表最多可以放多少数据？
今天的一个脚本中，考虑到文件较多，可能有几百万个，每次十万十万的往里放，怕列表hold不住，担心担心列表list能不能装得下，于是百度了一下，瞬间放心了：一般应用场景都不用考虑这个大小，因为这个上限很高，需要用到这么多元素的list的时候，都需要考虑很多其它问题。1----------32位python的限制是 536870912 个元素。2----------64位python的限制是 1152...
2018-06-22 11:36:06
31766
6
原创 Python连接redis集群
#coding:utf-8import jsonfrom rediscluster import StrictRedisClusterimport sysimport timedef redis_cluster(): li=[] redis_nodes = [{'host':'10.10.100.20','port':20011}, ...
2018-06-20 11:41:20
5216
10
原创 如何用Python脚本自动创建多张表
今天有个任务，将服务器上MySQL中的100张表一亿条数据数据迁移到es中，因为MySQL和es都是在生产环境中的，不敢乱动啊，万一搞错了就完蛋了，我只能在本地测试，第一个要解决的问题就是，模拟出MySQL的具有相同表结构的100张表好在表的名字是有规律的xxxxx_1、xxxxx_2、xxxxx_3、......xxxxx_100、刚开始我用手动的方式写了2个，太慢了，于是结合Python搞一搞...
2018-06-15 17:01:43
5412
1
原创 django.db.utils.InternalError: (1050, "Table 'django_content_type' already exists")
django项目在执行python manage.py migrate 进行表迁移时报错错误信息：django.db.utils.InternalError: (1050, "Table 'django_content_type' already exists"）解决办法：执行python manage.py migrate --fake再次执行python manage.py migrate问题...
2018-06-13 11:06:52
18591
9
原创 django.db.utils.OperationalError: (1045, "Access denied for user 'root'@'localhost' (using password:
django.db.utils.OperationalError: (1045, "Access denied for user 'root'@'localhost' (using password: YES)")django执行生成迁移文件是产生异常如下：从异常信息不难看出，数据库账号密码信息有误，这是检查settings中的链接数据库部分，修正后再次执行pytho manage.py make...
2018-06-12 09:40:38
6965
原创 python No migrations to apply
异常信息如下：解决方法如下：第一步：删除该app名字下的migrations文件。1第二步：进入数据库，找到django_migrations的表，删除该app名字的所有记录。delete from django_migrations;123第三部:python manage.py makemigrationspython manage.py migrate12...
2018-06-11 19:55:43
2687
转载 Pycharm直接连接Github
Pycharm直接连接GithubPycharm可以说是使用Python语言开发者的必备利器。高校学生有学生邮箱就可以免费使用，着实省了我不少银两。附个license图：Git是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。代码托管、版本控制神马的，还是Github和Git最搭哦。现在Pycharm已经成为主力编辑器，Pycharm直接连接Github会方便很多。...
2018-06-08 17:55:57
7328
4
原创 史上最简单的图片二维码识别
今天做了一个图片验证码识别，一共7行代码，你没看错，我也没说错，算上空行一共7行下面就是见证奇迹的时刻from PIL import Imagefrom pytesseract import *im = Image.open('unknown.jpg')aa = pytesseract.image_to_string(im)print(aa)示例图片：运行效果：俗话说，台上一分钟，台下...
2018-06-07 19:51:38
10744
原创 ModuleNotFoundError: No module named 'Image'
ModuleNotFoundError: No module named 'Image'今天写脚本时候遇到了上面提示的错误信息发现是引用写法错误（也可能是没有引用）正确引用即可from PIL import Image
2018-06-07 17:48:47
17148
3
原创 源码网站
1.站长下载:http://down.chinaz.com/2.CSDN下载：http://download.csdn.net3.站长源码：http://down.cnzz.cn/4.51源码：http://www.51aspx.com/ 5.源码之家：http://www.mycodes.com/ 6.源码网：http://www.codepub.com/ 7.多多源码：http://www.m...
2018-06-06 11:52:05
1696
1
原创 python如何解决动态的定义变量名，并给其赋值（大数据处理）
最近消费kafka数据到磁盘的时候遇到了这样的问题： 需求：每天大概有1千万条数据，每条数据包含19个字段信息，需要将数据写到服务器磁盘，以第二个字段作为大类建立目录，第7个字段作为小类配合时间戳作为文件名，临时文件后缀tmp，当每个文件的写入条数（可配置，比如100条）达到要求条数时，将后缀tmp改为out。 问题：大类共有30个，小类不计其数而且未知，比如大类为A,小类为a，时间戳...
2018-06-06 10:24:47
9703
原创 Python日期存入elasticsearch的坑
今天在消费kafka数据到elasticsearch（以下简称es）中的时候遇到一个问题，也是一个坑，折腾了半天，后来发现得来全不费工夫，全是白忙活啊！！！问题如下：kafka数据中有一个字段是时间字符串，格式为：‘2018-05-31 16：33:45：234’为了方便以后根据日期检索数据，es里已将该字段设置为date类型，接下来便开始了str到date转换的艰辛之路......尝...
2018-06-05 20:04:24
7535
3
爬虫基础-第四章-requests
2022-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人