大数据
Andychau2015
这个作者很懒,什么都没留下…
展开
-
Hadoop性能调优、YARN的内存和CPU配置
hadoop性能调优https://www.cnblogs.com/wanxqing/p/10444038.htmlhttps://blog.csdn.net/tototuzuoquan/article/details/80671128https://blog.csdn.net/dehu_zhou/article/details/52808752https://blog.csdn.net/...转载 2019-12-13 09:00:06 · 246 阅读 · 0 评论 -
flume kafka2hdfs demo
做了个简单消费kafka数据到HDFS配置文件名为:test0.conf在flume conf目录启动…/bin/flume-ng agent -n a1 -c ./conf -f ./test0.conf -Dflume.root.logger=INFO,consolea1.sources = r1 a1.sinks = k1 a1.channels = c1#so...原创 2019-08-29 11:47:41 · 249 阅读 · 0 评论 -
linux 端口转发:iptables mysql connect
作者:晓得为_链接:https://www.jianshu.com/p/c35e7637e09b端口转发iptables 是一个配置 Linux 内核 防火墙 的命令行工具,是 netfilter 项目的一部分。术语 iptables 也经常代指该内核级防火墙。iptables 用于 ipv4,ip6tables 用于 ipv6。需要root账户执行以下操作应用场景外网通过端口转发...转载 2019-08-13 09:56:44 · 609 阅读 · 0 评论 -
hadoop hdfs 高可用集群JAVA API CLIENT
参考文章https://www.cnblogs.com/junneyang/p/5869413.htmlhttps://blog.csdn.net/wt346326775/article/details/72597694将hadoop配置文件hdfs-site.xml的内容配到API里import java.io.FileInputStream;import java.io.InputS...原创 2019-08-08 17:16:24 · 465 阅读 · 0 评论 -
java 批量插入hive中转在HDFS
Java API实现向Hive批量导入数据原文地址:https://blog.csdn.net/kangkangwanwan/article/details/78915134博主:盛装吾步稍微修改了下,这文章是通过将数据存盘后,加载到HIVE.模拟数据放到HDFS然后加载到HIVE,请大家记得添加HIVE JDBC依赖否则会报错。加载前的数据表最好用外部表,否则会drop表的时候元数据会...原创 2019-06-28 19:35:42 · 2250 阅读 · 0 评论 -
hive server2 webui java connect hive 配置及问题报错解决
参考文章hiveserver2的配置和启动博主:leanaoohttps://blog.csdn.net/leanaoo/article/details/83351240测试环境是单机版hive hive-site.xml<configuration><property><name>javax.jdo.option.ConnectionURL&l...转载 2019-06-28 12:13:41 · 441 阅读 · 1 评论 -
再修改的HBASE统计行,免上传到打包直接运行
原文出自:https://blog.csdn.net/a2615381/article/details/52174671a2615381添加计时和注解,只要更改统计和列族名,要把hadoop解压到本地才可以运行import java.io.IOException;import java.text.DecimalFormat;import java.text.SimpleDateForm...转载 2019-06-05 11:01:38 · 142 阅读 · 0 评论 -
apache hadoop单机版standalone
hadoop-env.shexport JAVA_HOME=/usr/software/jdk1.8.0_51export HADOOP_CONF_DIR=/usr/software/hadoop-2.7.1/etc/hadoop分别修改系统JDK和HADOOP路径core-site.xml<property><!--指定HDFS的主节点--><name>fs.defaultFS</name><value>hdfs://hadoop:9000</value> </property>原创 2019-05-08 09:42:54 · 164 阅读 · 0 评论 -
spark kafka directstream java.io.EOFException: Received -1 when reading from channel, socket has lik
spark directstream 消费kafka数据的时候出现报错java.io.EOFException: Received -1 when reading from channel, socket has likely been closed.val brokers = “hadoop:2181”val kafkaParams = Map[String,String](“metad...原创 2019-04-24 23:54:23 · 1716 阅读 · 0 评论 -
hadoop mapreduce插件无法安装到ECLIPSE或Eclipse插件jar文件复制到plugins文件夹下,不能自动安装
今日想用ECLIPSE做MAPREDUCE图形操作可是把JAR包插件放到ECLIPSE的PLUGINS文件下,重启ECLIPSE却没反应。找了很久原因是安装ECLIPSE的PLUGINS转移了方法1需要将插件放到WIN7 64位版本C:/Users/用户名/.p2/pool/plugins里才可以如果这个方法不行的话,请使用方法2方法2把platform.xml删了,可到Ecl...原创 2019-04-19 23:06:32 · 797 阅读 · 0 评论 -
HBase单机模式安装 ZK,HADOOP,HBASE全单机配置安装
前言:如果只是简单HBASE单机模式,只需要安装HBASE后修改安装目录下的conf/hbase-site.xml hbase.rootdir file:///home/software/hbase/tmp修改完直接进入BIN目录,启动就好sh start-hbase.sh输入JPS后看到HMaster就证明启动成功。如果需要配置全单机模式的话,请按照如下配置就好,亲测OK可以正...转载 2019-04-19 22:08:48 · 2660 阅读 · 0 评论 -
logstash和kafka的误会 无法发送数据到KAFKA 无报错 无日志
这几天项目要求用LOGSTASH和kafka配环境发现每次启动LOGSTASH都是正常KAFKA却无法获取到数据,发现LOGSTASH是没有日志而CONSOLE也没任何报错信息奇怪的是刚安装的时候是正常传输数据的, 可过了段时间,重启LOGSTASH就没任何数据发送思路:1,版本问题2,日志查看3,权限问题4,文件问题去LOGSTASH查看版本,的确有兼容问题,按官方修改参阅:h...原创 2019-05-03 09:05:29 · 1848 阅读 · 0 评论 -
大数据常见错误解决方案(转载)
出处:https://www.cnblogs.com/cstzhou/p/6437270.html低调才是王道1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries!解决方法:ad...转载 2019-04-26 14:13:38 · 4850 阅读 · 0 评论