排序:
默认
按更新时间
按访问量

flume使用telnet作为入口出现connection refused

原因很简单 因为localhost≠127.0.0.1 也就是说, $FLUME_HOME/conf中的.conf文件用的localhost 那么启动agent的时候你就不能用127.0.0.1 否则认为两者是不相等的.  ...

2018-08-16 13:57:37

阅读数:10

评论数:0

sublime自定义主题-修改行号的颜色

打开以下链接: http://tmtheme-editor.herokuapp.com/#!/editor/theme/Cobalt 找到自己当前使用的主题,然后点击页面最下方的+号即可.   参考链接: https://github.com/aziz/tmTheme-Editor/...

2018-08-16 10:53:00

阅读数:3

评论数:0

namenode启动不了以及datanode启动不了的解决办法

首先我们都知道jps查看节点是否起来了 ,如果namenode或者datanode没有起来,那么 cd ~/bigdata/hadoop-2.7.7/logs rm * 然后重新复现之前的问题, ./dfs-start.sh --------------------------name...

2018-08-15 23:02:55

阅读数:4

评论数:0

ubuntu下sublime中修改字体

环境: Ubuntu Linux 16.04 sublime 3 选择 Preferences=>Settings=>修改Preferences.sublime-settings--User 用下面的替换,就可以改为"汉仪全唐...

2018-08-15 21:05:05

阅读数:9

评论数:0

ubuntu下面的java一键运行脚本

java的运行分为编译+执行两部分. 怪麻烦的,所以写个脚本一键运行.如下: -------------------------------------------------------------------------------------------------- java_com...

2018-08-15 12:19:58

阅读数:5

评论数:0

protoc: error while loading shared libraries: libprotoc.so.8: cannot open shared object file

修改.bashrc 改为增加/usr/local/lib即可 完整如下: export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:\ $/usr/lib/x86_64-linux-gnu:\ /lib/x86_64-linux-gnu:\ /usr/lib...

2018-08-14 15:28:47

阅读数:5

评论数:0

Intellij出现NoClassDefFoundError: org/apache/spark/streaming/StreamingContext

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 18/08/13 17:07:34 WARN Utils: Your hostname, ubuntu resolves to a loo...

2018-08-13 17:11:15

阅读数:11

评论数:0

eclipse中常用archetype对应的文件目录

org.apache.maven.archetypes maven-archetype-archetype └── learn     ├── pom.xml     ├── src     │   └── main     │       └── resources     │         ...

2018-08-13 11:59:24

阅读数:3

评论数:0

OPENSSL_1.0.2' not found

环境:ubuntu 16.04   出现的问题有: VirtualBox: dlopen("/usr/lib/virtualbox/VBoxRT.so",) failed: /usr/lib/x86_64-linux-gnu/libssl.so.1.0.0...

2018-08-08 19:05:57

阅读数:21

评论数:0

java.lang.NoSuchMethodError: org.apache.spark.streaming.api.java.JavaStreamingContext.awaitTerminati

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.streaming.api.java.JavaStreamingContext.awaitTermination(J...

2018-08-05 20:07:17

阅读数:20

评论数:0

ubuntu16.04下面用sublime运行scala代码

下载一个scala包 http://distfiles.macports.org/scala2.11/scala-2.11.8.tgz 注意要跟spark匹配,我的spark版本是2.3.1 查看scala与spark版本是否兼容的方法: /home/appleyuchi/.virtual...

2018-07-30 17:03:43

阅读数:23

评论数:0

hadoop中的namenode进行格式化是什么意思?

只有namenode需要format, secondarynamenode和datanode不需要format。 类似于硬盘分区后以及新买的u盘需要格式化的问题, 因为硬盘,u盘以及hdfs一样都是一个文件系统, 所以使用前要格式化....

2018-07-30 12:47:18

阅读数:16

评论数:0

sqoop2出现Connection refused

Sqoop home directory: /home/appleyuchi/bigdata/sqoop-1.99.5-bin-hadoop200 Setting SQOOP_HTTP_PORT:     12000 Setting SQOOP_ADMIN_PORT:     12001 Usin...

2018-07-29 18:40:56

阅读数:46

评论数:0

sqoop种出现:"There are issues with entered data, please revise your input"问题解决

sqoop:000> create link --cid 1                    Creating link for connector with id 1 Please fill following values to create new link ob...

2018-07-29 15:30:42

阅读数:39

评论数:0

安装sqoop以后,hive中的info信息无法禁止的问题解决

配置完sqoop以后,我们会发现,即使使用下列文件也无法禁止INFO级别的信息出现 /home/appleyuchi/bigdata/hadoop-3.0.3/etc/hadoop/log4j.properties 解决方案: 下面的信息,在启动sqoop的时候再激活,平时没啥用的时候注释掉...

2018-07-28 20:03:44

阅读数:40

评论数:0

使用hive中beeline引擎来访问hive数据库

hive中beeline引擎连接hive访问hive引擎 注意,往下阅读前,必须先确保hive>能连接mysql数据库 我们知道: hive中的引擎有两个: hive> beeline> 现在使用第二个beeline引擎...

2018-07-28 14:00:15

阅读数:41

评论数:0

java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module

(python2.7) appleyuchi@ubuntu:~$ pyspark Python 2.7.12 (default, Nov 19 2016, 06:48:10)  [GCC 5.4.0 20160609] on linux2 Type "help"...

2018-07-25 17:30:46

阅读数:48

评论数:0

pyspark连接mysql

首先按照以下连接先在本地mysql中导入数据: https://blog.csdn.net/appleyuchi/article/details/79439387 然后配置好各种文件以后,在sublime中输入以下代码运行:   from pyspark import SparkConte...

2018-07-23 15:14:24

阅读数:65

评论数:0

llegal character entity: expansion character (code 0x8

Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion c...

2018-07-22 20:02:29

阅读数:95

评论数:0

WARN HiveConf: HiveConf of name hive.metastore.local does not exist注意事项

WARN HiveConf: HiveConf of name hive.metastore.local does not exist 解决方案是: <property>  <name>hive.meta...

2018-07-22 13:16:36

阅读数:59

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭