- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop支持lzo
1.环境准备 maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像） gcc-c++ zlib-devel autoconf automake libtool 使用如下命令：sudo yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake li...
2019-08-31 16:26:30
198
原创 集群HA搭建（Hadoop+Zookeeper+Mysql+Hive+Spark）
一.安装准备 1.软件版本选择： jdk 1.8：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html?ssSourceSiteId=otncn scala-2.11.12：https://www.scala-lang.org/downl...
2019-07-30 09:34:24
581
转载 java序列化和反序列化
原文：https://www.cnblogs.com/xdp-gacl/p/3777987.html一、序列化和反序列化的概念 把对象转换为字节序列的过程称为对象的序列化。 把字节序列恢复为对象的过程称为对象的反序列化。 对象的序列化主要有两种用途： 1） 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 2） 在网络上传送对象的字节序列。 在很多应用中，...
2018-08-01 20:32:48
192
原创 从windows连接到CentOS中的mysql
1.启动虚拟机中的mysql服务： systemctl start mysqld systemctl stop mysqld（关闭命令）2.关闭虚拟机中的防火墙： systemctl stop firewalld.service3.尝试在windows中ping虚拟机的地址： 比如：ping 211.87.232.89 然后进入控...
2018-06-18 16:58:59
2401
原创 牛客网刷题-计算机网络
大部分解答为牛客网各位同学的精彩回答，本文只是选择一些互联网常考题目记录备忘。1.IP地址分类： 2.常见HTTP状态码： 3.HTTP协议的描述：无状态、基于请求与相应 4.同步通信与异步通信哪个传送效率高：同步传送效率高 5.DNS劫持与DDos： ...
2018-06-16 22:59:58
1649
原创 Spark完全分布式安装
1.首先安装好java，hadoop2.安装与要安装的spark对应版本的scala，scala安装基本步骤与Java一致，下载解压改名添加SCALA_HOME3.下载解压spark安装包4.修改spark配置 进到spark安装目录下的conf目录下，将spark-env.sh.template和slaves.template改名 mv spark-env.sh.template s...
2018-06-10 16:59:35
1073
原创 HBase完全分布式安装
1.首先要安装hadoop与zookeeper，参照之前的两篇文章即可。2.下载好HBase的安装包后放入虚拟机使用tar命令解压 比如 tar -zxvf hbase-1.1.5.tar.gz -C /app 3.修改/etc/profile文件，在export path后将HBase路径加入 export PATH=$HADOOP_HOME/bin:$PATH:/app/hbase-1...
2018-06-07 17:07:12
191
原创 hadoop使用常出现的问题
1.再次格式化namenode以后，DataNode不能正常启动： 原本已经可以正常启动的hdfs，在一次重新使用hdfs namenode -format后不能正常启动，表现为master节点上使用jps命令能正常看到所有的进程，而其他节点上jps命令显示没有DataNode进程。 原因：namenode格式化以后会造成namenode的clusterID与DataNode的clu...
2018-05-31 20:12:40
496
原创 IDEA 开发hadoop项目配置及打包
1.新建工程： 2.选择maven，勾上create from archetype，选择quickstart： 3.填写maven的坐标，“groupId”，“artifactId”，以及“version”，其中groupId是公司域名的反写，而artifactId是项目名或模块名，而version就是该项目或模块所对应的版本号，点击next： 4.可以使用本地的maven，直接...
2018-05-30 15:37:12
10629
1
原创 Zookeeper伪分布式安装与启动
1.下载安装包，http://archive.cloudera.com/cdh5/cdh/5/2.将安装包放入Linux系统某个文件夹下，如software3.解压：解压到你想要解压到的目录，比如apptar -zxvf zookeeper.xxx.tar.gz -C ~/app4.进入zookeeper安装目录，创建一个文件夹data，在data下创建3个data_x目录（个数不一定是3，x为1...
2018-04-27 16:23:37
702
原创 牛客网刷题-java
大部分解答为牛客网各位同学的精彩回答，本文只是选择一些互联网常考题目记录备忘。1.一个类的构造器可以调用这个类中的其他构造器：this的作用其中一个就是在一个构造方法中调用另一个构造方法，格式为this(参数)；如 this(x)super是调用父类的方法；A(a)这种形式是在new一个类时使用。 子类的构造方法总是...
2018-04-13 23:38:33
7888
hadoop-lzo-0.4.20-SNAPSHOT.jar
2019-07-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人