pyml_kdl的博客

内容来源菜鸟教程概念理解Hadoop 整体设计Hadoop 框架是用于计算机集群大数据处理的框架，所以它必须是一个可以部署在多台计算机上的软件。部署了 Hadoop 软件的主机之间通过套接字 (网络) 进行通讯。Hadoop 主要包含 HDFS 和 MapReduce 两大组件，HDFS 负责分布储存数据，MapReduce 负责对数据进行映射、规约处理，并汇总处理结果。Hadoop 框架最根本的原理就是利用大量的计算机同时运算来加快大量数据的处理速度。例如，一个搜索引擎公司要从上万亿条没有进行规

# coding=utf-8"""依赖：thrift,happybase注意×××：启动hbase thrift start-port:9090"""import happybase# 创建连接 默认端口9090 table_prefix命名空间，不同命名空间互不影响connection = happybase.Connection("10.198.192.76",table_prefix="lyj")# connection = happybase.Connection("10.198

依赖库：pip install hdfsfrom hdfs.client import Client,InsecureClient# Insecure 可以解决dr.who权限问题# client = InsecureClient('http://172.17.0.2:9870',user='hadoop')# client = Client('http://172.17.0.2:9870',proxy='hadoop')# docker 集群# client = Client('http:

本文摘自https://bbs.csdn.net/topics/300049690/中的回答数据库锁为什么引入数据库锁多个用户同时对数据库的并发操作时会带来以下数据不一致的问题:丢失更新A,B两个用户读同一数据并进行修改,其中一个用户的修改结果破坏了另一个修改的结果,比如订票系统脏读A用户修改了数据,随后B用户又读出该数据,但A用户因为某些原因取消了对数据的修改,数据恢复原值,此时B得到的数据就与数据库内的数据产生了不一致不可重复读A用户读取数据,随后B用户读出该数据并修改,此时A用户再读

模块原文链接: link.pip install redisedis 提供两个类 Redis 和 StrictRedis, StrictRedis 用于实现大部分官方的命令，Redis 是 StrictRedis 的子类，用于向后兼用旧版本。redis 取出的结果默认是字节，我们可以设定 decode_responses=True 改成字符串。import redis # 导入redis 模块r = redis.Redis(host='localhost', port=6379, dec

多线程资料来源链接: 菜鸟教程.Python中使用线程有两种方式：函数或者用类来包装线程对象。函数式：调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:_thread.start_new_thread ( function, args[, kwargs] )参数说明:function - 线程函数。args - 传递给线程函数的参数,他必须是个tuple类型。kwargs - 可选参数。示例import _threadimport time

指定输出日志到my.lognohup python my.py >> /usr/local/python/xxf/my.log 2>&1 &不要输出nohup tomcat.sh > /dev/null 2>&1 &二.nohup命令nohup指不断地运行，是no hang up的缩写，指不间断，不挂断。运行一个进程的时候，不想让其在你退出账号时关闭，即可用nohup。nohup在不规定的情况下，所以输出内容会到nohup.out中

geos 3.3版本解决方案：换一个高版本

cape — 对流有效位能

分离路径和文件名:os.path.split()区分文件的名字和后缀:os.path.splitext()遍历文件夹os.listdir()

plt.ylabel(‘Temperature’,position=(1,1))

报错如下：找到源码修改如下

生成日志的py文件# coding=utf-8import sys,osimport time,datetimeimport loggingfrom logging.handlers import TimedRotatingFileHandlerlog_file='predict_area.log'# 初始日志，用于记录日志def initlog(): logger = ...

json.dumps在默认情况下，对于非ascii字符生成的是相对应的字符编码，而非原始字符，例如：import jsonjs = json.loads(’{“haha”: “哈哈”}’)print json.dumps(js){“name”: “\u54c8\u54c8”}解决办法很简单:print json.dumps(js, ensure_ascii=False...

mkdir /home/usernamechown -R username/home/username

Django 项目的初始化配置settings.pyDEBUG = True ALLOWED_HOSTS = ['*']INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessi...