- 博客(14)
- 收藏
- 关注
RSS订阅原创 SparkSQL读取ORC表时遇到空文件
先看一段报错日志：ERROR ApplicationMaster: User class threw exception: java.lang.RuntimeException: serious problemjava.lang.RuntimeException: serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021) at or
2022-05-10 15:28:40
2021
原创 （null）entry in command string:null chmod 0644 问题解决
出现这种问题多半是本地编写spark程序savaASTextFile到本地磁盘的目录出现的解决方案：下载hadoop.dll文件然后放在C:\windows\system32中,再然后删除原来的输出文件（不然会报文件已存在的问题），退出IDEA或ecplise,重新打开运行程序即可hadoop.dll文件链接：https://pan.baidu.com/s/1349cr6P26WHZpg63QxByLQ 提取码2vd4...
2020-11-01 22:32:23
1067
2
原创 Phoenix的搭建文档
前言：Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的PAI执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。Phoenix 4.15 HBase 1.4.6..
2020-10-27 08:52:57
251
1
原创 超简单的HBASE的搭建
搭建完全分布式集群HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性.现在就以5台机器为例，搭建一个简单的集群.软件版本：hbase-1.4.6-bin.tar.gz3台机器IP：192.168.81.110(master)、192.168.81.120(node1)、192.168. 81.130(node2)一.搭建Hadoop集群参看：https://mp.csdn.net/console/editor/
2020-10-21 09:15:52
464
1
原创 伪分布式的搭建
伪分布式适合电脑内存小，磁盘小，运行速度慢的机器。1、hdfs伪分布搭建1.1 停止集群stop-all.sh1.2修改配置cd /usr/local/soft/hadoop-2.6.0/etc/hadoopvim slaves改成一个节点1.3删除临时目录rm -rf /usr/local/soft/hadoop-2.6.0/tmp1.4格式化namenodehadoop namenode -format1.5启动hadoop并查看jpsstart-a
2020-10-20 22:18:28
213
原创 HadoopHa的搭建过程
前提：将原有的装好zookeeoer的三台虚拟机关闭加入快照，以防万一一：关闭防火墙service tables stop二：时间同步重点：【三台虚拟机都要操作】yum install ntpntpdate -u s2c.time.edu.cn date可以查看时间3、免密钥 (远程执行命令)在两个主节点生成密钥文件 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-i...
2020-10-20 19:37:46
208
1
原创 Zookeeper的安装和简单的使用
前言：Zookeeper简介Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统，这些都是Zookeeper的应用场景。Zookeeper集群中节点个数一般为奇数个（>=3），若集群中Master挂掉，剩余节点个数在半数以上时，就可以推举新的主节点，继续对外提供服务。客户端发起事务请
2020-10-19 20:15:33
302
原创 Hadoop的集群安装(linux)&大数据
一：准备环境三台虚拟机，一台主节点master,两台从节点node1和node2并修改ip地址和主机名Hadoop2.6.0压缩包二：1.设置主机名与ip映射，修改配置文件命令：vi /etc/hosts2.将hosts文件拷贝到node1和node2节点命令：scp /etc/hosts node1:/etc/hostsscp /etc/hosts node2:/etc/hosts3.上述修改完成后，请依次重启三台虚拟机：重启命令：reboot 3...
2020-10-14 10:52:46
249
原创 如何在虚拟机安装集群Redis
准备工作：一台已经安装好redis的虚拟机master两台克隆过来的虚拟机node1,node2，不知道克隆虚拟机的见链接https://mp.csdn.net/console/editor/html/108742694准备资源第一步：我的Redis安装在usr/local/soft里面创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster第二步：将redis 复制到redis-clu...
2020-09-30 10:09:53
226
原创 Redis的安装和启动（Linux）
一：在xshell里面控制虚拟机终端1.首先配置阿里云yum源这样方便后面的下载在终端输入 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo然后在输入 yum makecache 生成缓存2.安装依赖在终端里输入yum install -y gcc-c++ gcc tcl然后等他他完成出现这个提示进行下一步二：首先将Redis安装压缩包通过Xs.
2020-09-27 17:16:27
148
原创 如何使用Navicat连接Mysql数据库
第一步：在虚拟机或者Xshell（已连接虚拟机）创建表输入连接mysql的口令 mysql -u用户名 -p密码创建库和表第二步：打开已下载好的Navicat Premium(我的是15版本，不破解的话只能使用14天，想要破解的话见末尾链接第三步：...
2020-09-23 08:45:49
862
1
原创 如何用VMware克隆虚拟机
第一步：首先选择你要克隆的虚拟机主机，按下面步骤来就ok 了第二步：选择刚刚复制的虚拟机，并开启选择root用户登录，密码为123456第三步：通过克隆创建两台虚拟机，克隆是完整克隆,所以ip和mac都是一模一样的，但是IP在网络中只能有一个不能重复,所以克隆之后的会默认生成一个新的网卡。mac是一样的，主机名也是一样的 克隆之后的机器需要修改三部分 1.修改主机名vim /etc/sysconfig/network(重启后生效) ...
2020-09-23 08:22:48
605
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人