2018年07月_qq_37587216

原创 python 多进程与多线程

一、二者的关系 1、进程是操作系统分配资源的最小单元，线程是操作系统调度的最小单元，一个进程下面可以有多个线程，线程不能分配资源，只能共享资源。 2、启动线程的方法把一个函数传入并创建Thread实例，然后调用start()开始执行 import threadingimport timedef loop(x): pr...

2018-07-30 15:50:56 170

原创在windows上安装python 虚拟环境遇到的一个坑

使用pip install virtualenv 之后，试图通过 virtualenv --no-download myenv 创建一个python的虚拟环境但是出现了一个问题，在出错的最后一行报一个错：OSError: Command E:\virtual-env\mysite_env\Scripts\python.exe - setuptools pip wheel failed wi...

2018-07-27 23:18:49 2896 1

原创 python 类变量、实例变量 -----温故而知新

今天在学习Java的时候遇到一个关于对象赋值的问题，要给所赋的值加一个判断，突然想到python中关于类变量，实例变量的定义，于是去找一个两个不同的语言对于类中变量的定义，又结合不久前做的一个程序，对类变量与实例变量做一个总结与梳理： import randomimport stringclass A: x = [] y = 0 z = {} k ...

2018-07-25 10:49:47 328

原创 hbase shell 操作失败查看日志遇到的一个bug

File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1).这是由于 hadoop 的hdfs系统中datanode没有与 namenode 连接页产生的，所以需要在namenode的 50070web页面上查看是否有datanode连接。...

2018-07-24 17:28:26 2051

在使用python连接HBase安装各种依赖包的过程中需要根据 HBase 的源码来生成一个gen-py包，我使用的是python3.5,HBase的版本是1.2.6，在/hbase-1.2.6.1/hbase-thrift/src/main/resources/org/apache/hadoop/hbase 文件夹下面有两个文件夹 thrift thrift2，网上查来的许多资料都是使用 ...

2018-07-24 15:27:49 1949 2

原创 hive级联查询

级联查询练习建表：create table t_access_times(name string,month string,salary int)row format delimitedfields terminated by ',';数据：load data local initdb '/root/jilian_data.txt' into table t_access_times...

2018-07-17 11:18:50 724

原创使用python连接hdfs 文件系统，实现上传文件

一、在用户的根目录下写配置文件(mypython) [root@hadoop-yarn-117 ~]# vi .hdfscli.cfg [global]default.alias = dev[dev.alias]url = http://hadoop-yarn-117:50070user = root 二、使用python 连接from hdfs import Configcli...

2018-07-16 14:53:21 3710

原创 pip 安装pyhs2出现错误解决的方法

错误： sasl/saslwrapper.h:22:23: 致命错误：sasl/sasl.h：没有那个文件或目录需要安装几个包解决这个问题yum install cyrus-sasl-lib.x86_64 cyrus-sasl-devel.x86_64 libgsasl-devel.x86_64 -ypip install pyhs2 -i https://pypi.douban.com/s...

2018-07-16 14:46:42 1705 1

原创 hadoop集群搭建

hadoop 版本： 2.9.1集群搭建的工具： 1、开源：http://ambari.apache.org/team-list.html 2、收费：https://www.cloudera.com/一、文件下载解压 (1)编译好的 345M wget -P [download-to-dir] https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/...

2018-07-16 14:27:45 114

one city one love