hadoop
_Libbytian
这个作者很懒,什么都没留下…
展开
-
Window下Eclipse远程访问伪分布式hadoop1.2.1测试WordCount
hadoop时遇到遇到ERROR security.UserGroupInformation: PriviledgedActionException as:xxxx cause:java.io.I目前网上找到的资料Map/Reduce Master 参看hadoop 安装路径下conf 文件夹下的core-site.xml 我在虚拟机上配置为<?xml version="1.0"?><?xm原创 2017-10-19 15:07:44 · 439 阅读 · 0 评论 -
Hive JDBC
/etc/init.d/mysql stoppackage com.foriseholdings.advlogs.hivetomysql.dao;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.SQLException;...原创 2018-06-07 14:45:45 · 987 阅读 · 0 评论 -
HBase Shell 操作~
向表里插入数据put '表名' ,'rowkey名' ,'列簇名:列名','列值'查表scan '表名'rowkey 条件查询 过滤查询scan '表名' ,{FILTER=&amp;amp;amp;gt;&amp;amp;quot;PrefixFilter('所需字段')&amp;amp;quot;}hbase 、hive 集成create table t_record(id string,shopsn stri原创 2018-04-28 14:44:06 · 179 阅读 · 0 评论 -
spark-1.6.0-cdh5.7.0 安装
export SPARK_HOME=/opt/spark-1.6.0-cdh5.7.0 export PATH=PATH:PATH:PATH:{SPARK_HOME}/binhttps://blog.csdn.net/liuxingjiaofu/article/details/7197245转载 2018-04-27 18:01:24 · 558 阅读 · 0 评论 -
java.io.IOException: No FileSystem for scheme: hdfs
在迁移环境过程整遇到这个问题。检查代码后发现 原来是配置文件中hdfs=hdfs://地址端口 被我去掉了hdfs 改成了hdfs=//地址段口 导致无法找到hdfs地址 应该是这个问题。...原创 2018-03-29 10:28:52 · 363 阅读 · 0 评论 -
CDH各组件版本
一、CDH对应组件版本https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_57.html二、使用maven引入对应组件版本 https://www.cloudera.com/documentation/enterprise/release-not...转载 2018-04-03 17:23:35 · 8940 阅读 · 0 评论 -
HBase官方指南(译.二.Hbase伪分布本地安装)
2.3伪分布本地安装 在通过快速启动独立模式工作之后,您可以重新配置HBase以在伪分布模式下运行。伪分布模式意味着HBase仍然完全运行在单个主机上,但是每个HBase守护进程(HMaster,HRegionServer和ZooKeeper)都作为一个单独的进程运行:在独立模式下,所有守护进程都在一个jvm进程/实例中运行。默认情况下,除非您配置hbase.rootdir。正如在quicks...翻译 2018-04-03 11:02:46 · 246 阅读 · 0 评论 -
HBase官方指南(译.一)
翻译自:http://hbase.apache.org/book.html#java安装独立模式工作HBase 第一步 1.从镜像网站下载 hbase 文件 https://www.apache.org/dyn/closer.cgi/hbase/$ tar xzvf hbase-3.0.0-SNAPSHOT-bin.tar.gz$ cd hbase-3.0.0-SNAPSHOT/...翻译 2018-03-07 11:16:55 · 893 阅读 · 0 评论 -
java实现相关hdfs操作【转载】
调用相关代码,实现相关hdfs操作package hdfs;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;public class App1 { /**转载 2017-12-18 09:26:55 · 230 阅读 · 0 评论 -
CDH5.10+安装过程报错:Unable to verify database connection
网络上的解决思路大多不能解决我的问题,抄袭也比较多CentOS7.4 是最小安装 CentOS7 默认安装了mariadb 首先强制卸载mariadb rpm -e –nodepsrpm -e –nodeps mariadb-libs-1:5.5.56-2.el7.x86_64 卸载后重新安装Mysql 删除 /etc/ld.so.cache 使其重新生成 [root@slave01原创 2017-12-22 13:29:55 · 3877 阅读 · 0 评论 -
CDH5不能离线安装可能原因
chmod a+w -R /var/lib/原创 2017-11-28 16:10:56 · 340 阅读 · 0 评论 -
物品推荐小记
推荐引擎的分类推荐引擎是不是为不同的用户推荐不同的数据 根据这个指标,推荐引擎可以分为基于大众行为的推荐引擎和个性化推荐引擎 *根据大众行为的推荐引擎,对每个用户都给出同样的推荐,这些推荐可以是静态的由系统管理员人工设定的,或者基于系统所有用户的反馈统计计算出的当下比较流行的物品。 *个性化推荐引擎,对不同的用户,根据他们的口味和喜好给出更加精确的推荐,这时,系统需要了解需推荐内容转载 2017-11-08 10:18:26 · 264 阅读 · 0 评论 -
ERROR Streaming result set com.mysql.jdbc.RowDataDynamic@1d5a7f6 is still active. No statements may
https://blog.csdn.net/wind520/article/details/39127843还有一种解决方法是 list.add("--driver"); list.add("com.mysql.jdbc.Driver");package com.xxx.sqoop;import java.util.ArrayList;import org.a...原创 2018-07-10 17:12:59 · 1449 阅读 · 0 评论