自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data len

遇到这个错误是创建语句中创建hdfs的路径报错,代码中路径写成了 " hdfs://92.168.41.11:9870 ",应该要和[root@node1 hadoop]# vim core-site.xml 这里面的配置一样才行。查看 core-site.xml 配置文件,发现是node1,所以将代码中的ip写成node1即可运行。

2024-01-09 12:50:21 2388

原创 基于Hadoop的豆瓣影视数据分析

基于Hadoop的影视数据分析系统的设计与实现(毕业设计)

2024-01-09 12:43:00 2050 3

原创 远程计算机或设备将不接受连接

电脑连上无线网,但是打开浏览器显示网络很慢或者未连接到互联网,点击运行Windows网络诊断后检测到“远程计算机或设备将不受连接” 。

2023-07-09 16:19:43 6591 2

原创 列举四种神经网络激活函数的函数公式、函数图及优缺点和适用场景

列举四种神经网络激活函数的函数公式、函数图及优缺点和适用场景

2023-06-05 08:47:26 4184

原创 解决使用Spoon(Kettle)连接Hive数据库的卡顿问题

在使用软件Spoon进行本地MySQL数据传输到Hive的时候,连接本地MySQL和Hive后,创建MySQL表输入进行操作的时候不卡顿,但是创建Hive表输出进行操作的时候,出现点一下卡一下的严重卡顿情况

2023-06-02 11:34:24 831

原创 运行hive语句时有很多info怎么消掉

每次启动hive和执行hive sql命令时都打印了很多没用的INFO日志,看起来很繁琐,那么该怎么消除掉这些没用的日志消息

2023-06-02 10:53:33 2475 7

原创 关于eclipse项目里有很多红叉的原因及解决办法

eclipse项目里有很多红叉的原因及解决办法

2023-05-25 17:22:42 8683

原创 spark安装部署

spark安装部署

2023-05-10 16:45:00 622

原创 Sqoop安装及基本用法

export HBASE_HOME=/home/hadoop/hbase-2.1.0(当前服务器未安装HBase,所以不设置)下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/将mysql的jar包上传至/opt/sqoop-1.4.7.bin__hadoop-2.6.0/lib,mysql需要mysql-connector-java-5.1.32.jar以上版本支持。5: 配置:sqoop-env.sh 文件。

2023-05-09 20:15:00 461

原创 Scala安装及使用(Windows)

Scala安装及使用

2023-05-08 14:45:00 1615

原创 Flume安装部署

Flume安装部署

2023-05-08 09:59:38 594

原创 Hive JavaApi调用

再启动hive集群hive。

2023-05-08 09:07:45 1330

原创 Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1

2023-05-07 22:26:33 1577

原创 Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:supergroup:drwxrwx---

解决hdfs权限问题导致的 ” hadoop jar “ 运行失败

2023-05-07 22:05:46 2376

原创 如何关闭RunJar进程

Hadoop集群运行mapreduce程序后JPS出现很多个RunJar,如下图。

2023-05-07 21:53:55 4059

原创 ctrl+z关闭hiveserver2后再次启动报错

问题:ctrl+z关闭hiveserver2后再次启动报错:报错原因:hiveserver2不能直接ctrl+z关闭服务。

2023-05-06 10:39:06 230

原创 -bash: hadoop: 未找到命令

-bash: hadoop: 未找到命令

2023-05-05 09:58:33 7368 5

原创 如何将Anaconda安装时默认的python版本改成其他版本

如何将Anaconda安装时默认的python版本改成其他版本

2023-05-04 16:50:50 41600 20

原创 Hive安装部署

Hive安装部署和简单的使用

2023-04-27 17:26:40 248

原创 Hbase整合Phoenix

Hbase整合Phoenix和一些简单的使用

2023-04-27 16:47:35 321

原创 jupyter notebook 电影数据分析

jupyter notebook 数据分析

2023-04-24 11:57:24 1868 15

原创 Mysql_事务操作(transaction、savepoint、rollback)

MySQL简单的事务操作

2023-04-23 21:38:44 282

原创 从CSV文件导入Hive出现中文乱码问题解决

从CSV文件导入Hive出现中文乱码问题解决

2022-12-28 14:20:32 1243

原创 hive报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeEx

解决hive集群连接不上mysql的问题

2022-12-27 22:33:49 7919

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除