自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据小白

主要发布一些个人笔记及错误解决,个人邮箱1604788382@qq.com,欢迎指教

原创 linux中如何使用Cgroups限制某一个进程使用cpu的最大百分比

首先安装Cgroups (不多说了) 进行配置 进入cgroups的默认路径 /sys/fs/cgroup/ 创建一个资源分配的组cgcreate -g cpu:/gwc(gwc为用户名) 这是/sys/fs/cgroup/cpu/下会有一个名字是gwc的文件夹 进入gwc文件夹 echo 50...

2018-12-22 15:04:39

阅读数 616

评论数 0

原创 nginx加uwsgi配置python web框架flask(实测)

1.安装nginx 参考网址 https://www.cnblogs.com/angellating/p/6479876.html 里面的这两个命令不要运行(我运行了,结果阿里云崩了,连不上了) rpm -qa pcre 如果没有显示说明没有安装 反之安装过 rpm -e --nodep...

2018-12-19 19:35:05

阅读数 76

评论数 0

原创 在阿里云部署flask接口,外网无法访问问题解决

1:修改阿里云防火墙 打开官网,控制台,自己的服务器,点防火墙,然后添加规则,开放端口(5000) 2:ssh连接服务器修改防火墙 连接centos7服务器 systemctl start firewalld.service firewall-cmd --zone=public --add-...

2018-12-19 15:51:36

阅读数 746

评论数 0

原创 webDriver的安装和使用

webDriver的安装 查看谷歌浏览器的版本 去http://npm.taobao.org/mirrors/chromedriver/下载浏览器版本对应的chromeDriver,notes.txt文件中有写到对应版本,注意查看 将下载好的chromeDriver解压好复制到谷歌浏览器安装目录...

2018-09-28 14:00:28

阅读数 20772

评论数 1

原创 pyspider的一些简单应用

pyspider 不要框架获取部分网页内容 url = "https://www.creditchina.gov.cn/xinxigongshi/shipinanquanjianduchoujian/jieguoxiangqing/index.html?id=62335&am...

2018-09-28 13:48:55

阅读数 127

评论数 0

原创 flume大全,,,配置和相关实例

flume agent 结构 flume运行的核心是agent。flume以agent为最小的独立运行单位, flume有三个核心组件 - source 是数据的收集端,负责将数据捕获后进行特殊的格式化,将数据封装到事件(event)里,然后将事件推入Channel中 - s...

2018-09-10 23:23:39

阅读数 88

评论数 0

原创 hbase加载数据的方式以及与其他组件hive等集成

hbase与其他组件集成 hbase与MapReduce集成 设置HBase、Hadoop环境变量(hbase目录下) export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2 export HADOOP_HOME=/opt/module...

2018-09-10 23:10:10

阅读数 197

评论数 0

原创 hbase java api

hbase java api 前期准备 在src/main下新建resource文件夹 在pom.xml添加下面内容 <properties> <project.build.sourceEncoding>UTF-8&...

2018-09-10 23:08:29

阅读数 49

评论数 0

原创 hbase shell 命令

hbase shell 命令 list 查看存在哪些表 scan “表名称” 插卡某个表某个列中所有数据 create ‘people’,’info1’,’info2’ 创造表并指定列簇 put put ‘people’,’10001’,’info1:age’,’20’ people...

2018-09-10 23:06:43

阅读数 875

评论数 0

原创 hbase安装和配置(完全分布式)

hbase 安装与配置(完全分布式) 解压安装包 启动hdfs 启动zookeeper 修改配置文件 hbase-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_79 export HBASE_MANAGES_ZK=false ...

2018-09-10 23:05:37

阅读数 95

评论数 0

原创 hive进阶,以及hive处理日志文件实例,数据倾斜处理等hive进阶内容

hive进阶 case-when-then-else select id,name,age1, case when age1 < 18 then ‘小屁孩’ when age1 >=18 then ‘成年人’ else ‘aa’ end as age222...

2018-09-10 22:24:25

阅读数 344

评论数 0

原创 hive相关语句及打jar包运行范例等

hive的语句 查看表在hdfs上的目录 show create table 表名 设置reduce个数 set mapred.reduce.tasks=4; 创建内部表并指定分隔符 create table person(name STRING,age INT)ROW FORMA...

2018-09-07 17:07:34

阅读数 1024

评论数 0

原创 hadoop集群多namenode配置

多namenode配置 规划: bigdata01.com bigdata02.com bigdata03.com namenode namenode datanode datanode ...

2018-09-07 17:05:58

阅读数 3025

评论数 0

原创 hadoop集群的yarn ha配置,亲测

YARN HA部署 yarn-site.xml文件: <!--启用resourcemanager ha--> <property> <name>yarn.nodemanager...

2018-09-07 17:04:40

阅读数 648

评论数 1

原创 namenode的ha配置,亲测

namenode的ha配置 一、Namenode HA部署: 目标: 防止单个Namenode宕机以后,整个HDFS集群无法访问 规划: bigdata01.com bigdata02.com bigdata03.com Namenode Namen...

2018-09-07 17:03:29

阅读数 672

评论数 0

原创 分布式hadoop搭建,自己测试成功过,很详细

分布式hadoop集群分布 服务器功能规划 node-1 :namenode,datanode,nodemanager,historyserver node-2:resourcemanage,datanode,nodemanager node-3:datanode,nodemanager...

2018-09-07 17:01:23

阅读数 533

评论数 0

原创 hive相关配置

hive的配置 Hive部署 版本 0.13.1 1、安装JDK 2、安装Hadoop 确保Hadoop可以正常使用(上传文件、运行jar) 3、安装Hive “` tarzxf/opt/softwares/apache−h...

2018-09-07 16:58:36

阅读数 130

评论数 0

原创 伪分布式hadoop集群搭建

hdfs的配置 hadoop-env.sh文件 export JAVA_HOME=/opt/modules/jdk1.7.0_67 core-site.xml文件 <!--HDFS集群访问入口地址,写上namenode的主机名--> ...

2018-09-07 16:57:32

阅读数 60

评论数 0

原创 python爬虫相关

基础知识点 python格式化 python格式化 数字格式化 python print("{:.2f}".format(3.1415926))#设置两位小数 print("{:.2%}".format(0.25))#百分比 print(...

2018-09-07 16:48:13

阅读数 106

评论数 0

原创 linux进阶命令,ssh讲解,文件如何最简单上传下载,shell命令等进阶命令与更深了解linux

linux补充命令 reboot重启 halt 关机 ps命令(查看当前进程)ps -ef| grep ssh(查看ssh的相关进程) chown命令 chown [-R] 账号名称 文件/目录(R表示递归) chmod r读写权4 w写入权2 执行权1 chmod 777 -R xxx(文...

2018-09-07 11:20:35

阅读数 75

评论数 0

原创 python爬虫基础及实例---代码经过实测

requests模块 发送get,post请求 response = requests.get(url) response = requests.post(url,data={请求体的字典}) response的方法 response.text 该方法经常会出现乱码,出现乱...

2018-09-07 11:09:05

阅读数 17047

评论数 0

提示
确定要删除当前文章?
取消 删除