- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 centos6安装redis
centos6安装redis-2.8.13.tar.gz1、检查安装依赖程序yum install gcc-c++yum install -y tclyum install wget2、获取安装文件wget http://download.redis.io/releases/redis-2.8.13.tar.gz3、解压文件tar -xzvf redis-2.8....
2020-05-06 11:03:00
98
原创 sqoop命令总结
1.数据从mysql到hdfs/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop import \--connect jdbc:mysql://mysql_ip:3306/mysql_database \--username root \--password mysql_pwd \--table ...
2020-04-24 10:03:00
135
原创 cdh的sentry
CDH平台中的安全，认证（Kerberos/LDAP）是第一步，授权（Sentry）是第二步。如果要启用授权，必须先启用认证。但在CDH平台中给出了一种测试模式，即不启用认证而只启用Sentry授权。但强烈不建议在生产系统中这样使用，因为如果没有用户认证，授权没有任何意义形同虚设，用户可以随意使用任何超级用户登录HiveServer2或者Impala，并不会做密码校验。注：本文档仅适...
2020-04-20 16:46:00
613
原创 shell脚本的if语句,日期变量以及文本vi编辑模式下的文本替换
1.if语句的日常操作#!/bin/bashif [ $? -eq 0 ]; thenecho "执行成功"elseecho "mkl"fi#判断文件夹是不是存在test_dir=/root/bin/if [ ! -d "$test_dir" ]; thenecho "是文件夹"elseecho "不是文件夹"fi#判断文件是不是存在test_file=...
2020-04-08 15:38:00
164
原创 输入和输出的重定向 2>&1
1.常识 输入到字符串或者一定内容到另一个文件(会把目标的文件清空) echo "hello world!" > a.txt cat a.txt > b.txt 输入到字符串或者一定内容到另一个文件(不会把目标文件清空,会继续追加,) echo "hello world!" >> a.txt cat a.tx...
2020-04-08 09:51:00
128
原创 使用MSCK命令修复Hive表分区
#当前没有partition元信息hive> show partitions cr_cdma_bsi_mscktest;OKTime taken: 0.104 seconds#创建两个分区目录hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201603;hive> dfs -...
2020-04-01 17:05:00
121
原创 hive的分桶
一.总结 分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值得hash值进行区分，如要安装name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。几个桶就是几个文件.二.用途 在分区数量过于庞大，就会有海量的目录建立，以至于可能导...
2020-04-01 16:45:00
102
转载 hive的分区表设计
前言用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。Hive分区分为静态分区和动态分区1、建表语句先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句是一样的。create table test_partition (id st...
2020-04-01 11:03:00
612
原创 Ubuntu和Centos的定时脚本
一.环境准备 1.系统环境 Ubuntu系统版本 ：Ubuntu 18.04.4 LTS Centos系统版本：6.5二.Ubuntu的定时任务设置#查看定时任务crontab -l#编辑定时任务crontab -e#重启定时服务，开启定时任务service cron restart三.Centos的定时任务设置#查看定时任务cront...
2020-03-31 15:46:00
144
原创 centos安装docker
CentOS Docker 安装 Docker支持以下的CentOS版本： CentOS 7 (64-bit) CentOS 6.5 (64-bit)或更高的版本 前提条件 目前，CentOS 仅发行版本中的内核支持 Docker。 Docker 运行在 CentOS 7 上，要求系统为64...
2019-06-28 14:01:00
122
原创 kafka生产消费者demo
生产者代码: package cn.itcast.kafka; import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.pr...
2018-11-13 19:12:00
74
原创 虚拟机扩容
第一步 在虚拟机上面 扩容(扩展VMWare硬盘空间) 2. 对新增加的硬盘进行分区、格式化 [root@localhost]#fdisk /dev/sda p 查看已分区数量（我看到有两个 /dev/sda1 /dev/sda2） n 新增加一个分区 p 分区类型我们选择为主分区 分区号选3（因为...
2018-11-13 18:56:00
100
原创 Spark开发的完整基础_欢乐的马小纪
map是对每个元素操作, mapPartitions是对其中的每个partition操作 ------------------------------------------------------------------------------------------- -----------------------------------------------...
2018-11-09 11:42:00
67
原创 Spark最简单基础_欢乐的马小纪
Spark笔记 1.flatMap和map的区别 map函数会对每一条输入进行指定的操作，然后每一条输入返回一个对象； flatMap函数则是两个操作的集合，即先映射再扁平化： i.同map函数一样，对每一条输入进行指定的操作，然后为每一条输入返回一个对象； ii.然后将所有对象合并成一个对象。 2.交集并集...
2018-11-09 10:13:00
108
原创 虚拟机NAT网络
Windows 确保开启了NAT网络 虚拟机网络网络编辑 centos DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesNETMASK=255.255.255.0IPADDR=...
2018-11-06 10:46:00
79
原创 centos6 克隆虚机的紧要知识点_____马小纪&
第一步：修改IP vi/etc/sysconfig/network-scripts/ifcfg-eth0 删除UUID 删除MAC地址 修改IP 第二步 删除网卡内容 rm -rf/etc/udev/rules.d/70-persistent-net.rules 第三步 ：mac地址不要和之前虚机一致 ...
2018-08-14 10:25:00
73
原创 克隆虚拟机的紧要知识
第一步：修改IPvi/etc/sysconfig/network-scripts/ifcfg-eth0删除UUID删除MAC地址修改IP第二步 删除网卡内容rm -rf/etc/udev/rules.d/70-persistent-net.rules第三步 ：mac地址不要和之前虚机一致...
2018-08-14 10:23:00
97
原创 我就是这样安装大数据CDH的_____马小纪&
零：准备JDKhttps://download.csdn.net/download/cand_yh/10375789CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcelhttp://archive.cloudera.com/cdh5/parcels/5.8.0/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcelcentos7...
2018-08-14 09:57:00
89
原创 我的名字叫hadoop
第一回 新入环境 我的名字是hadoop，我一出生我的爸爸雅虎就给我取了这样一个名字：hadoop，我也不知道为什么叫这个名字,刚出生没多久,雅虎爸爸就把我领进一个黑暗的屋子里面,屋里堆满了黑色的箱子,里面出奇的冷.我一脸懵懂,“爸爸，这是哪里？” “不要着急，马上你就会明白了，听爸爸的话,进去之后要好好做事.” 爸爸把我送到房间尽头的楼梯旁跟我说:...
2018-07-20 15:18:00
66
原创 ReduceTask的运行
Class < ?extendsShuffleConsumerPlugin > clazz = job.getClass(MRConfig.SHUFFLE_CONSUMER_PLUGIN, Shuffle.class, ShuffleConsumerPlugin.class); shuffleConsumerPlugin = ReflectionUtil...
2017-11-17 19:41:00
120
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人