- 博客(35)
- 收藏
- 关注
RSS订阅原创 解决：Exception in thread “main“ java.io.IOException: Failed on local exception: com.google.protobuf
集群上提交运行jar包程序，出现如下错误:Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "hadoop/192
2022-05-17 21:24:25
1930
原创 Exception in thread “main“ java.lang.SecurityException问题解决方法
集群上提交运行jar包程序，出现如下错误:Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes分析原因：打开META-INF目录，将*.SF,*.DSA,*.RSA文件删除，即可。应为有些包有签名，导致错误解决方法：在集群上的jar包目录下直接运行：zip -d vincen.jar .
2022-05-17 21:15:25
3109
原创 HBase API 与MR交互：将 fruit 表中的数据，通过 MR 迁入到 fruit1表中
1.构建ReadFruitMapper类，用于读取 fruit 表中的数据package test;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;//读取HBase中的表数据，写入Reducerpublic class ReadFruitMappe
2022-04-20 10:27:32
2199
原创 HBase:执行 MapReduce 到 HBase 的 fruit 表中时，端口号发生错误，无法运行。
运行命令：/soft/hadoop-2.7.7/bin/yarn jar lib/hbase-server-1.3.3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit hdfs://vincen:9870/hbasetest/bigdatafile/input/fruit.tsv报错代码：Failed on local exception: com.google.protobuf.Inva
2022-04-18 22:25:21
1571
原创 运行官方的 MapReduce 任务
案例一：统计 Student 表中有多少行数据/soft/hadoop-2.7.7/bin/yarn jar lib/hbase-server-1.3.3.jar rowcounter student运行命令：运行结果：案例二：使用 MapReduce 将本地数据导入到 HBase1.在本地创建一个 tsv 格式的文件：fruit.tsv1001 Apple Red1002 Pear Yellow1003 Pineapple ..
2022-04-17 10:40:00
234
原创 官方HBase-MapReduce
官方HBase-MapReducebin/hbase mapredcp运行结果：2．环境变量的导入2.1（永久生效：在/etc/profile 配置）export HBASE_HOME=/opt/module/hbaseexport HADOOP_HOME=/opt/module/hadoop-2.7.2添加结果：2.2在 hadoop-env.sh 中配置：（注意：在 for 循环之后配）export HADOOP_CLASSPA..
2022-04-17 10:10:54
1503
原创 HBase API 删除数据
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-07 20:32:38
499
原创 HBase API 获取数据（scan）
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-07 17:19:22
665
1
原创 HBase API 获取数据（get）
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-06 22:22:33
5990
原创 HBase API 插入数据
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-06 21:03:03
1034
原创 HBase API 创建命名空间（含表）
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-05 22:15:57
1504
原创 HBase API 创建命名空间
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-05 21:48:39
658
原创 HBase API 删除表
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-05 16:13:15
446
原创 HBase API 创建表
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try {// 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
2022-04-05 15:55:05
3665
原创 HBase API 判断表是否存在（新版API）
1.DDL与DML的主要用途区别：//DDL：// 1.判断表是否存在// 2.创建表// 3.创建命名空间// 4.删除表//DML：// 5.插入数据// 6.查数据（get）// 7.查数据（scan）// 8.删除数据2.配置文件和连接信息 // ...
2022-04-05 14:43:41
741
原创 HBase API 判断表是否存在（旧版API）
DDL与DML的主要用途区别：//DDL：// 1.判断表是否存在// 2.创建表// 3.创建命名空间// 4.删除表//DML：// 5.插入数据// 6.查数据（get）...
2022-04-05 14:42:52
1572
原创 HBase部署完成，Web UI界面无法打开有效解决方法
问题：1、HBase已经部署完成，jps查看进程都存在，但HMaster总会闪退。2、16010的界面无法打开（拒绝链接）3、三台节点的16030界面显示如下（regionserver只在初始化）问题分析：本人遇到此问题时，查询到有很多的解决方法，但都无效，且这些解决方案都模棱两可，没有直接说明。经本人查看日志显示znode data == null解决方法：hadoop的配置文件core-site.xml中：<property>...
2022-03-24 18:39:05
6515
原创 HBase环境部署
HBase有三种运行模式：1、单机模式：只在一台计算机运行，这种模式下，HBase所有进程包括Maste、HRegionServer、和Zookeeper都在同一个JVM中运行，存储机制采用本地文件系统，没有采用分布式文件系统HDFS。2、伪分布模式:只在一台计算机运行，这种模式下，HBase所有进程都运行在不同一个节点，在一个节点上模拟了一个具有HBase完整功能的微型集群，存储机制采用分布式文件系统HDFS，但是HDFS的NameNode和DataNode都位于同一台计算机上。3、全分布模式
2022-03-22 22:09:47
3299
原创 两个文件的合并与去重
1.编写两个文本：XX.txt与YY.txt，两个文件的20160806重复XX.txt:20160708201611132016070220160906201610112016090120160108201606092016022120160308201610012016101220160309201610232016110420160806YY.txt:2016050420160806201605162016042220160604201611
2021-11-14 13:17:03
2671
2
原创 获取成绩表的最高记录
1.编写成绩表A.txt文本A.txt：语文 96数学 102英语 130物理 19化学 44生物 44语文 109数学 118英语 141物理 72化学 21生物 7语文 92数学 103英语 139物理 20化学 58生物 12语文 107数学 112英语 133物理 88化学 11生物 222.编写FindMax.java代码//mapperpublic static class FindMaxMapper extends Mapper
2021-11-13 17:02:16
1818
原创 编程实现按访问次数排序
1.编写Java accessTimesSort.java// Mapper模块 public static class MyMapper extends Mapper<Object, Text, IntWritable,Text>{ public void map(Object key, Text value, Context context) //map函数的编写要根据读取的文件内容和业务逻辑来写 ...
2021-11-13 16:50:02
2149
原创 编程实现按日期统计访问次数
1.将日期统计的user_logn.txt文本准备好。user_logn.txt文本：Nehru,2016-01-01Dane,2016-01-01Walter,2016-01-01Gloria,2016-01-01Clarke,2016-01-01Madeline,2016-01-01Kevyn,2016-01-01Rebecca,2016-01-01Calista,2016-01-01Lana,2016-01-01Phoebe,2016-01-01Clayton,201..
2021-11-13 16:41:28
2221
原创 MySQL基本操作
一、数据库操作1.创建数据库： create database 数据库名2.查看数据库： (1).查看所有数据库： show databases; (2).查看指定数据库的创建信息： show create database 数据库名;3.使用数据库：(1)use 数据库名; ...
2021-11-03 14:47:06
53
原创 JDBC编程最终运行时报错解决方法
在JDBC编程最后运行时报错：Exception in thread “main“ java.sql.SQLException: Unknown initial character set index ‘255‘ received解决方法：建立JDBC和数据库之间的connection连接时，在url后面加：?useUnicode=true&characterEncoding=utf-8如图：添加原因： MySQL数据库用的是gbk编码，而项目数据库用的是...
2021-11-02 19:20:17
211
原创 HDFS的基本操作
1.创建新目录（1）命令：hdfs dfs -mkdir （只能逐级创建目录）（2）创建多级目录：命令：hdfs dfs -mkdir -p2.上传文件或下载文件 文件上传命令（1）hdfs dfs [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] 将文件从本地文件系统复制到HDFS文件系统中，主要参数<localsrc>为本地文件路径，<...
2021-10-05 17:13:46
2880
原创 查看Hadoop集群的基本信息
1.1查看Hadoop集群的存储系统信息（浏览器查看）http://vincen:50070configured Capaeity:已配置的文件系统存储总量DFS Remaining:可使用的DFS存储总量Non DFS Used:被非DFS得应用所占用的存储总量DFS Used:已使用的DFS存储总量Live Node:在线的数据节点（DataNode）各存储容量之间的关系：Configured Capacity=Non DFS Used+DFS Used+...
2021-10-05 16:13:16
6930
原创 使用yum安装MySQL
1.查看CentOS下是否已经安装MySQL 命令："yum list install | grep mysql"2.已经有MySQL的话，先删除已安装的MySQL 命令："yum -y remove mysql......" (注：mysql......后面是自己第一步所查出mysql的名) 若看到complete,则删除成功3.（可以不看）查看yum库中的mysql 命令："yum list | grep ...
2021-09-29 16:19:00
146
原创 编写shell脚本——一键启动Hadoop集群
第一步： 1.创建一个存放脚本的目录命令："mkdir bin" （注：如果不了解存放脚本目录的命名，就将目录名命名为"bin"，如果 自己命名为其他可能在后面第四步的时候查找不到脚本） 2.在bin目录下创建"hadoop.sh"脚本 （1）进入新创建的bin目录下"cd bin" （2）创建"hadoop.sh"脚本并编写脚本："vim hadoo...
2021-09-29 16:03:41
3859
原创 HADOOP集群的相关服务监控
1.Hadoop集群相关服务监控。为了能够顺利在浏览器打开Hadoop集群相关服务的监控界面，需要修改本地hosts文件。本地的hosts文件可在C:\Windows\System32\drivers\etc下找到。hosts是一个没有扩展名的系统文件，其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”，当用户在浏览器中输人一个网址时，系统会首先自动从hosts文件中寻找对应的IP地址。一旦找到，系统会立即打开对应的网页。2.需要修改本地hosts文件。本地的hosts文件可
2021-09-25 19:19:20
2339
原创 启动关闭集群——格式化失败解决方法
做完Hadoop的所有配置后，即可执行格式化NameNode操作，该操作会在NameNode所在机器初始化些HDFS的相关配置，并且该操作在集群搭建过程中只需执行一次,执行格式化之前可以先配置环境变量。1.配置环境变量是在master. slavel 、 slave2、 slave3上修改/etc/profile文件2.在文件末尾添加代码所示的内容，文件修改完保存退出3.执行命令 "source /etc/profile”来使配置生效4.重新格式化，命令"hdfs namenode -f..
2021-09-24 13:42:50
2489
1
原创 配置SSH免密码登录
(1)输入“ssh-keygen -t rsa”，接着按三次“Enter”键。生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥，参数“-”用于指定要创建的SSH密钥的类型为RSA(2)用ssh-copy-id将公钥复制到远程机器中。ssh-copy-id -i /root/.ssh/id_rsa.pub master//依次输入yes, root用户的密码ssh-copy-id -i /ro...
2021-09-24 13:21:39
3291
原创 Hadoop 简介
Hadoop 特点1.Hadoop是一个能够对大量数据进行分布式处理的软件框架。2.Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。3.Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。4.Hadoop 还是可伸缩的，Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，所以集群可以很容易进行节点的扩展，扩大集群。能够处理PB级数据。5.此外，Hadoop 依赖于社区服务，因此它的...
2021-09-18 14:59:26
1825
原创 对第一个JAVA程序进行总结
1. java程序编写-编译-运行的过程编写：我们将编写的java代码保存在以".java"结尾的源文件中编译：使用javac.exe命令编译我们的java源文件。格式：javac 源文件名.java运行：使用java.exe解释运行我们的字节码文件。格式：java 类名2. 在一个java源文件中可以声明多个class。但是，只能最多有一个类声明为public的。 而且要求声明为public的类的类名必须与源文件名相同。3.程序的入口是main（）方法。格式是固定的。4.输出语句：
2021-09-18 14:53:23
78
原创 安装JDK，进行环境变量的配置时常见的问题：
安装JDK，进行环境变量的配置时常见的问题： 在cmd命令行中输入javac.exe时显示不是内部命令。 解决方法如下： 1.打开环境变量的配置框→新建一个用户变量→变量名：JAVA_HOME（先不要点击确定）→查看自己安装完JDK的包下有一个bin包（切记：不要点击打开bin包）→复制当前文件的路径→粘贴至新建的“JAVA_HOME”用户变量的变量值→点击确定。 2.新建一个用户变量→变量名：path 变量值：将刚才新建“JAVA_HOME”用户变量的变量值粘贴至此，将此路径的“\”前的内容全部改成“%J
2021-09-18 14:51:17
485
原创 九九乘法表
public class Arrey{public static void main(String[] args){for (int i = 1;i <= 9;i++)//行{ int [] a = new int [i];//创建数组，将i存储到a中for (int j = 0;j < i;...
2021-09-18 14:46:14
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人