- 博客(20)
- 收藏
- 关注
RSS订阅原创 Exception in thread “main“java.lang.NoClassDefFoundError:org/apache/HBaseConfiguration
今天用eclipse构建基于maven的spark+hbase工程（scala语言）的项目时，在eclipse中运行成功，打包也成功但是在spark本地运行时报了这样的错误原因是因为有些包调用错误，所以导致无法加载HBASE配置文件【解决方法】HADOOP配置文件里加入HBase lib路径hadoop-env.sh在$HADOOP_CLASSPATH/etc/hadoop下vihadoop-env.shexport HADOOP_CLASSPATH=$HADOOP_CLASS.
2022-05-14 23:45:08
1475
原创 HDFS Java API 用eclipse操作
配置Eclipse开发环境具体步骤如下一：下载Eclipse插件,和eclipseeclipse插件参考网站如下：https://github.com/winghc/hadoop2x-eclipse-pluginhttps://codeload.github.com/winghc/hadoop2x-eclipse-plugin/zip/mastereclipse下载可以到Eclipse官网（Eclipse Downloads | The Eclipse Foundation）下载
2022-04-23 15:15:21
2758
转载 在Windows中使用VirtualBox安装Ubuntu
一.材料和工具1. 安装好的VirtualBox虚拟机软件请确认安装好VirtualBox，如仍未安装VirtualBox，请点击下载地址安装.VirtualBox下载地址2. Ubuntu LTS 16.04 ISO映像文件点击这里从百度网盘下载，提取码是：99bg进入百度网盘以后，找到镜像文件ubuntukylin-16.04-desktop-amd64.iso，下载到本地。二.步骤(一)确认系统版本上面已经提供32位和64位Ubuntu系统的下载地址。如果您的电脑较新或者内存
2022-04-23 11:01:20
1616
原创 在ubuntu中安装spark22
spark安装通过 Spark Shell 进行交互分析Spark shell 提供了简单的方式来学习 API，也提供了交互的方式来分析数据。Spark Shell 支持 Scala 和 PythonScalaScala 是一门现代的多范式编程语言，志在以简练、优雅及类型安全的方式来表达常用编程模式。它平滑地集成了面向对象和函数语言的特性。Scala 运行于 Java 平台（JVM，Java 虚拟机），并兼容现有的 Java 程序。Scala 是 Sp..
2021-12-29 21:54:29
1524
原创 在ubuntu中安装Kafka
参考教程（Kafka的安装和简单实例测试_厦大数据库实验室博客）下载地址：Apache Kafka可以直接在虚拟机输网址下载Kafka的使用依赖于zookeeper,安装Kafka前必须先安装zookeeper.但是稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper...
2021-12-29 21:51:57
2196
原创 Centos hadoop-2.7.7安装
装好了 CentOS 系统之后，在安装 Hadoop 前还需要做一些必备工作创建hadoop用户首先在终端中输入su，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop:su # 以 root 用户登录useradd -m hadoop -s /bin/bash # 创建新用户hadoop接着使用如下命令修改密码，按提示输入两次密码，密码随意指定，若提示“无效的密码，过于简单”则再次输入...
2021-12-27 00:37:07
1987
原创 在Windows使用VirtualBox安装CentOS
材料1：安装好的VirtualBox虚拟机2：CentOS-7-x86_64ISO映像文件百度网盘链接：https://pan.baidu.com/s/10nKHXGk6eXNEO_ttxTwlrw提取码：42ro创建虚拟机点击“新建”按钮，创建一个虚拟机2：给虚拟机命名，选择储存位置3：选择内存大小，我这里设置的3072M4：创建虚拟硬盘5：选择虚拟硬盘文件类型VDI6：虚拟硬盘选择动态分配7：选择文件存储的...
2021-12-23 00:47:42
778
原创 Ubuntu16.04安装flink1.9.2
官网下载flink https://flink.apache.org/downloads.html下载好的文件是：flink-1.9.2-bin-scala_2.11.tgz解压cd /home/hadoop/下载sudo tar -zxvfflink-1.9.2-bin-scala_2.11.tgz -C /usr/local修改名字 加权限cd /usr/locallssudo mv ./filnk-1.9.2 ./flinksudo...
2021-12-12 14:37:30
1461
原创 ubuntu16.04中安装idea社区版
IDEA安装包下载地址：Download IntelliJ IDEA: The Capable & Ergonomic Java IDE by JetBrainshttps://www.jetbrains.com/idea/download/#section=linux
2021-12-08 13:52:12
972
原创 ubuntu伪分布安装Zookeeper 以及出现的问题
下载下载对应版本 Zookeeper，这里我下载的版本 3.4.6。官方下载地址：https://archive.apache.org/dist/zookeeper/解压把zookeeper解压到/usr/local/文件夹下sudo tar -zxf ~/下载/zookeeper-3.4.6.tar.gz-C /usr/local重命名sudo mv zookeeper-3.4.6/ zookeeper配环境变量编辑 profile 文件：...
2021-11-23 16:24:07
1272
原创 ubuntu 伪分布安装flume
下载地址：我下载的是apache-flume-1.6.0-bin.tar.gzflume依赖jdk，我已经有jdk8.0的环境了，所以可以直接安装开始安装1>打开hdfscd /usr/local/hadoop./sbin/start-dfs.shjps2>把flume解压到/usr/local/文件夹下sudo tar -zxf ~/下载/apache-flume-1.6.0-bin.tar.gz-C /usr/local3>我会...
2021-11-22 17:30:23
441
原创 在ubuntu中安装mysql以及出现的问题
使用以下命令即可进行mysql安装，注意安装前先更新一下软件源以获得最新版本：sudo apt-get update #更新软件源sudo apt-get install mysql-server #安装mysql上述命令会安装以下包：apparmormysql-client-5.7mysql-commonmysql-servermysql-server-5.7mysql-server-core-5.7因此无需再安装mysql-client等安...
2021-11-21 17:49:03
2857
原创 ubuntu中查看IP地址命令
在ubuntu中想要找到ip地址命令是ifconfig -a但有时候很神奇，根本找不到ip,就像这样这样的时候记得去检查 一下虚拟机的连接网络此时我的网络连接设置是这样子的，虽然虚拟机中是有网的，但是显现不出ip,我的解决办法是：改变网络连接设置，改成桥接，如下然后在终端输入ifconfig -a然后我的ip地址就出来了...
2021-11-20 13:20:47
35316
3
原创 当运行基于java web的网站时报连接不上JDBC
Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory (The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecogni
2021-11-18 00:41:24
1188
原创 谷歌浏览器xpath插件的安装
1：下载地址:链接：https://pan.baidu.com/s/1RVw7W_82NxHB0hbwSbnNig提取码：8z6i2： 安装:先下载好：chrome_Xpath_v2.0.2.crx文件3：然后将这个问题的后缀名改为rar如下：4：然后再解压出来如下：5：在chrome右上角找到选项--》更多工具--》扩展程序》点击开发者模式》才能点击加载已解压的扩展程序》选择解压后的文件夹如下：6：安装的插件在这里：如下图之前在视频上看...
2021-11-13 00:32:58
6396
1
原创 python爬虫所需要的第三方包
alembic==0.9.6appdirs==1.4.3asn1crypto==0.24.0astroid==2.0.4atomicwrites==1.3.0attrs==19.1.0Automat==0.7.0backcall==0.1.0bleach==3.1.0blinker==1.4certifi==2019.6.16cffi==1.12.3chardet==3.0.4click==6.7colorama==0.3.9confuse==1.0.0constantly=
2021-11-13 00:17:13
1391
原创 在pycharm里报【ModuleNotFoundError: No module named ‘requests‘】错误
如果报这个错误，意思就是找不到所要的包，但是在cmd用pip list 命令发现这个包确实安装了，此时应该检查pycharm 是不是有多个环境，虽然现在没搞懂多个环境怎么来的，但就是这个导致的问题可以看到是有两个环境的，打开另一个会发现我用pip安装的第三方包都在里面切换环境，便可以解决上面的问题。...
2021-11-12 23:57:43
845
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人