- 博客(32)
- 收藏
- 关注
RSS订阅原创 HBASE 异常 java.lang.ClassCastException: org.apache.hadoop.hbase.client.Put cannot be cast to org.apac
java.lang.ClassCastException: org.apache.hadoop.hbase.client.Put cannot be cast to org.apache.hadoop.hbase.KeyValue下面我们来看报错信息WARN mapred.LocalJobRunner: job_local244116549_0001java.lang.ClassCa...
2019-12-19 00:00:00
2421
原创 HBASE的Java API操作手册---大萝卜博客网整理
我们使用Maven来搭建项目,首先导入pom文件<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-rep...
2019-12-17 00:00:00
1029
原创 CentOS HBASE的安装部署
1.软件包的上传解压解压命令:tar -zxvf hbase-1.2.0-cdh5.14.0.tar.gz -C /export/install/2.修改配置文件第一个配置文件:vim conf/hbase-env.sh将第27行的java_home改成自己的将第128行的配置的true改为false 这步是为了让HBASE使用自己的Zookeeper,而不是用自带的第二个配置文件:vim co...
2019-12-11 00:00:00
941
原创 Azkaban调度器安装使用-大萝卜博客
1． solo-server模式部署解压配置mkdir /export/servers/azkabantar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz –C /export/servers/azkaban/vim conf/azkaban.propertiesdefault.timezone.id=Asia/Shanghai #修改时...
2019-12-06 00:00:00
914
原创 大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)-大萝卜博客
准备:1.配置好java环境变量2.配置好主机名/etc/sysconfig/network3.配置好hosts /etc/hosts4.配置好免密登录ssh5.关闭selinux以及防火墙##第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载)第一台机器执行以下命令cd /ex...
2019-12-04 08:37:11
439
原创 大数据辅助组件Apache Sqoop 如何使用-大萝卜博客网
sqoop介绍Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括：HDFS、Hive、Hbase等RDBMS体系包括：Mys...
2019-12-04 00:00:00
912
原创 HDFS的shell命令操作-大萝卜博客
hdfs dfs 具体命令[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ......
2019-11-29 20:51:18
1746
原创 MapReduce如何开启压缩算法对结果进行压缩-大萝卜博客
注:本文使用snappy算法进行压缩 内容在驱动类里面修改方式一：在代码中进行设置压缩设置map阶段的压缩Configuration configuration = new Configuration();configuration.set("mapreduce.map.output.compress","true");configuration.set("mapreduce.ma...
2019-11-29 14:52:07
2708
原创 HIVE的安装部署-大萝卜博客
注意:hive安装包我会放在本文最后 如有需要请自行下载derby版hive直接使用：缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一；解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/直接启动 bin/hivebin/...
2019-11-29 11:26:41
2595
原创 Hive所有字段类型汇总
分类类型描述字面量示例原始类型BOOLEANtrue/falseTRUE-TINYINT1字节的有符号整数 -128~1271Y-SMALLINT2个字节的有符号整数，-32768~327671S-INT4个字节的带符号整数1-BIGINT8字节带符号整数1L-FLOAT4字节单精度浮点数1.0-DO...
2019-11-29 08:16:45
8792
1
原创 Hive如何创建数据库与数据库表并指定字段之间的分隔符
hive 数据库操作创建数据库create database if not exists myhive;# 使用数据库use myhive;说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/...
2019-11-28 20:51:36
4512
原创 hive如何开启输出阶段压缩
##开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;设置mapredu...
2019-11-28 20:47:09
1998
原创 hive如何开启输出阶段压缩-大萝卜博客
开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;设置mapreduce中map输出数据的压缩方...
2019-11-28 00:00:00
518
原创 Hive如何创建数据库与数据库表并指定字段之间的分隔符-大萝卜博客
hive 数据库操作创建数据库create database if not exists myhive;# 使用数据库use myhive;说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/...
2019-11-26 00:00:00
1336
原创 HIVE的安装部署-大萝卜博客网
注意:hive安装包我会放在本文最后 如有需要请自行下载derby版hive直接使用：缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一；解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/直接启动 bin/hivebin/hive用mysql共享hiv...
2019-11-20 00:00:00
112
原创 Hive所有字段类型汇总-大萝卜博客网
分类类型描述字面量示例原始类型BOOLEANtrue/falseTRUE-TINYINT1字节的有符号整数 -128~1271Y-SMALLINT2个字节的有符号整数，-32768~327671S-INT4个字节的带符号整数1-BIGINT8字节带符号整数1L-FLOAT4字节单精度浮点数1.0-DOUBLE8字节双精度浮点数1.0-DEICIMAL任意精度的带符号小数1.0-STRING字符串...
2019-11-20 00:00:00
696
原创 HDFS的shell命令操作-大萝卜博客网
hdfs dfs 具体命令[[emailprotected] Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src>...
2019-11-04 00:00:00
152
原创 大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)-大萝卜博客网
准备:1.配置好java环境变量2.配置好主机名/etc/sysconfig/network3.配置好hosts /etc/hosts4.配置好免密登录ssh5.关闭selinux以及防火墙第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载)第一台机器执行以下命令cd /export/softwares/mv...
2019-10-31 00:00:00
112
原创 如何搭建NTP时间同步服务器-大萝卜博客网
安装NTPD服务端rpm -qa ntp | grep ntpd检测是否已经安装，如未安装执行yum安装服务yum install ntp关闭防火墙service iptables stop设置开启不自动启动防火墙chkconfig iptables off修改配置文件/etc/ntp.conf 添加如下内容restrict 192.168.100.0 mask 255.255.255.0 ...
2019-10-24 00:00:00
898
原创 CentOS6.9服务器安装jdk1.8 配置使用java环境变量-大萝卜博客网
第一步 解压缩jdk在官网下载jdk-8u144-linux-x64.tar.gz 之后上传到linux服务器使用解压缩命令解压出来到任意目录 例如我解压到根目录 /下使用命令tar -zxvf jdk-8u144-linux-x64.tar.gz -C /进行解压第二步 配置环境变量PS:网上很多是用修改/etc下的profile 文件来进行环境变量配置的,但是个人觉得这样的方式太过危险,如...
2019-10-22 00:00:00
256
原创 Linux 在虚拟机中如何新增一块硬盘-大萝卜博客网
挂载新的硬盘## 1.1 目标虚拟机 增加一块 硬盘1.2 路径第一步: 了解linux系统分区的原理第二步: 查看系统分区情况第三步: 虚拟机 增加 硬盘第四步: 分区第五步: 格式化第六步: 挂载第七步: 设置重启后 挂载不失效1.3 实现第一步: 了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 ...
2019-10-18 00:00:00
235
原创 CentOS6.9 如何配置yum本地资源库
必须断开网络连接查看文件是否挂载成功清空yum缓冲查看Packages文件中的信息过滤文件进入etc/yum.repos.d文件夹将所有文件都移入到old文件中将文件拷贝到当前目录下面,修改文件名为local.repo修改配置文件保存退出 ...
2019-10-18 00:00:00
368
原创 Centos6.9 如何设置本地yum源-大萝卜博客网
第一步首先我们需要在VMware中将Centos的安装包进行挂载第二步输入命令df -h 查看当前连接的光驱的名称 一般为 sr0下面的例子中名字皆为sr0 如果你的名字不是sr0请自行改更改第三步在挂载之前在/mnt下创建文件夹cdrom mkdir /mnt/cdrom将这个光驱进行挂载 mount /dev/sr0 /mnt/cdrom第四步将/etc/yum.repos.d 文件夹下复制...
2019-10-17 00:00:00
664
原创 Linux使用shell脚本打印99乘法表方法-大萝卜博客网
站长最近在学Linux 遇到一个99乘法表的题,下面来看下我的写法吧for i in {1..9}; do for j in {1..9}; do ji=`expr $i \* $j` if [ $j -le $i ] ; then echo -n "$j&#...
2019-10-16 00:00:00
633
原创 如何解决windows10 1903版本使用VMware经常黑屏/繁忙问题-大萝卜博客网
最近碰到了win10使用VMware经常黑屏的问题,站长真的很头疼,去上网搜了一下,经验证这个方法可以有效地解决win10更新1903之后的黑屏VMware黑屏的问题,大家有遇到这个问题的小伙伴赶紧收藏下来吧VMware 15.1版本的安装包如果去官网下载，太慢了，我这边提供安装包，见文末链接。VMware Workstation Pro 15.1.0 Build 13591040下载链接：ht...
2019-10-10 00:00:00
181
原创 真正无广告的看书软件，免费可换源！-大萝卜博客网
软件名称：疯狂阅读 刚发现的追书神器，真正无广告，免费可换源，全网最佳没有之一。疯狂阅读：https://itunes.apple.com/cn/app/id1476048993
2019-09-02 00:00:00
2691
原创 windows开启“卓越性能”模式-大萝卜博客网
一般我们的电脑电源选项中只有几下几项：其实在一些版本的Windows10中微软添加了一项“卓越性能”模式，开启此模式可以把电脑的硬件发挥最大的性能管理员运行“cmd”，运行如下命令即可打开：powercfg -duplicatescheme e9a42b02-d5df-448d-aa00-03f14749eb61写在后面:站长建议普通笔记本电脑没有必要开启此模式,此模式是将CPU和显卡的性能一直...
2019-09-01 00:00:00
1110
原创 Linux启用Google BBR教程-大萝卜博客网
BBR是Google的TCP阻塞控制算法，可以最大程度的利用带宽，提升网络传输速率。Linux内核4.9及以上已支持tcp_bbr（Debian 9之后版本和Ubuntu 17.04之后版本支持直接开启BBR，CentOS 7需要升级内核后开启BBR）。CentOS 7升级内核（Debian和Ubuntu跳过）查看当前内核版本：uname -r安装 ELRepo repo:sudo rpm --...
2019-08-31 00:00:00
1037
原创 大数据这么火,什么是大数据呢?-大萝卜博客网
大数据”是一个术语，用来描述一种数据集，它及其庞大、复杂，以至于畅通的数据处理应用程序难以应对。术语“大数据”通常指的是应用预测分析、用户行为分析或者某些其他从数据中提取有价值信息的高级数据分析方法，并不是专指某特定规模的数据集。——维基百科大数据的概念根据维基百科所说的大数据由巨型数据集组成,主要从两个方面解释了“大数据”的概念：满足“大数据”首先要数据量巨大，巨大到什么程度哪？就是传统的数...
2019-08-30 00:00:00
884
原创 Ubuntu如何安装Java环境
步骤1：下载jdk我选择的jdk版本文件： jdk-8u221-linux-x64.tar.gz步骤2：创建单独的目录sudo mkdir /usr/local/java步骤3：将下载的文件复制到我们创建的文件夹下sudo cp /home/lsk/Downloads/jdk-8u131-linux-x64.tar.gz /usr/local/java (注意lsk是我的用户名，jdk版本也许注...
2019-08-28 00:00:00
90
原创 如何彻底关闭Windows10自动更新?
Windows10是微软新一代桌面操作系统，华丽的图标，扁平的界面，平滑的切换，给人一种舒适的操作体验。但是，新系统的问题也是层出不穷，尤其是更新以后，会出现许多莫明其妙的问题。那么，怎样能保持住稳定的系统版本，不让系统自动升级呢？只有彻底关闭Windows10自动更新，才能真正的解决问题，下面我来给大家演示一下。一、关闭Windows Update服务1、右键“此电脑”>>“管理”...
2019-08-27 00:00:00
1001
原创 支付宝 二维码/转账码/生成方式,突破二维码生成数量的限制
支付宝个人二维码生成限制之后,一天就20张.大家都在找突破方法.这里分享一下目前的几种方式.支付宝收款的几种方式:通过xposed 设置金额/备注.然后可以得到一张二维码.这是传统的方式通过支付宝的接口,自己拼接字符串.然后根据字符串生成一个二维码对于对于传统方式.支付宝限制了一天二维码的生成数量.在这之间简直是好用得不要不要得.但是突然间支付宝爸爸说.你搞那么多二维码干啥.还备注...一天给你...
2019-08-25 00:00:00
1625
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人