![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
大数据领域的相关技术
周少钦
大数据开发领域从业者
展开
-
执行Mapredce程序时出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z异常
执行Mapreduce程序时出现,Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z异常如下: 在网上看到了很多中解决办法,大部分情况下在hadoop/bin目录和system32目录中放入hadoop.dll和winutil文件,配置好环境变量即可解决这个异常。但再我多次尝试后,发现并没原创 2022-02-27 19:36:17 · 1529 阅读 · 0 评论 -
解决配置了主机映射,Java API 还是访问不了HBase的问题
今天写项目的时候忽然发现Java API连接不到HBase了。向HBase插入数据时程序一直处于卡死状态。 一般出现这种问题都是因为主机映射没有配置或者防火墙没有关闭,然而我早早就配置号了映射和关闭了防火墙却还是出现了这样的问题。 更换maven依赖后为题得以解决: 后面在网上查阅资料后发现,原来使用官方自带的依赖包,可能会与项目中的其他依赖产生冲突 ...原创 2021-07-19 13:54:43 · 195 阅读 · 0 评论 -
使用SparkSql从Mysql中导入导出数据
导入数据 SparkSession的read属性中包含与一个DataFrameReader对象 DataFrameReader中包含了读取个各种格式数据的方法 其中的jdbc(uri: String, table: String, properties: Properties)方法可以从mysql中读取表的数据并封装为DataFrame对象 //创建Properties对象,配置Mysql的密码和用户名 val properties = new Properties() properties.se原创 2021-01-24 00:58:28 · 737 阅读 · 0 评论 -
Hadoop中关于LZO压缩的编译和安装
LZO压缩的编译和安装 因为Hadoop本身并不支持LZO,所以只能通过hadoop-lzo组件来适配Hadoop 此片文章选用的版本是lzo-2.10.tar.gz 下载连接 编译环境的安装 #以下大部分环境都是自带的,如果存在这条命令会更新这些环境 yum -y install gcc-c++ lzo-devel glib-devel autoconf automake libtool 编译 设置临时变量 export CFLAGS=-m64 在解压目录下创建一个compil原创 2020-11-04 14:25:14 · 276 阅读 · 0 评论