关于flume采集,这个问题一直无法解决,不知道是hadoop集群的问题还是,flume的问题

on_1_201408262011 to /data/flume/event_log/impression_washington_1_201408262011.COMPLETED 2014-08-27 10:24:49,844 (pool-5-thread-1) [INFO - org.apac...

2014-08-27 10:31:49

阅读数 2053

评论数 2

Mac 使用命令行解压 rar文件

1、首先安装brew > brew zsh: command not found: brew 去官网:https://brew.sh/index_zh-cn 找到安装命令: /usr/bin/ruby -e "$(curl -fsSL https:...

2019-02-13 15:46:11

阅读数 195

评论数 0

在VMware中使用Nat方式设置静态IP

引用参考:https://www.cnblogs.com/jsonhc/p/7685393.html在VMware中使用Nat方式设置静态IP为了在公司和家中不改变ip,所以采用vm的NAT模式来设置静态ip1、vm采用NAT模式联网2、编辑vm虚拟机设置 3、查看该网段的网关 可以看出网关为19...

2018-04-09 15:30:13

阅读数 134

评论数 2

eclipse 搭建一个tomcat 传输文件

1.new -project--dynamic web project2.Windows-->show view-->serversadd tomcat server3.在webContent目录下,放置需要传输的文件一定要刷新出来,eclipse上...

2018-04-04 15:46:08

阅读数 79

评论数 0

如何在Linux系统搭建jupyter notebook

参考如何在Linux系统搭建jupyter notebookhttps://blog.csdn.net/langhailove_2008/article/details/79110949准备环境,官网下载:linux版本的anaconda3:https://www.anaconda.com/d...

2018-04-04 14:14:52

阅读数 735

评论数 0

英文介绍

介绍项目 Do some development work, and force on bigdata, about hadoop spark computer coding. Recently I work data anatyce about  sas logic transform ...

2018-02-06 15:42:20

阅读数 150

评论数 0

Lambda 表达式

Passing Functions to Spark ScalaJavaPython Spark’s API relies heavily on passing functions in the driver program to run on the cluster. In Ja...

2016-09-10 16:12:19

阅读数 229

评论数 0

JSONObject_v3

 package json; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import java.io.*; import java.util.ArrayList; /**  * Created by ...

2016-02-24 11:52:39

阅读数 253

评论数 0

sbt编译spark源码

 [username@server1 spark-1.5.2]$ /data/2/functionId/tmp/compile/sbt/bin/sbt gen-idea Getting org.scala-sbt sbt 0.13.7 ... You probably access th...

2016-01-04 16:16:35

阅读数 1415

评论数 0

IntelliJ IDEA使用说明

安装完Intellij后请记得安装scala插件,此处跳过1.创建scala项目: IntelliJ IDEA使用说明 单击右键,run第一次因为要进行编译时间会比较久,第二次运行就快多了 进行spark开发: ...

2015-12-06 09:12:47

阅读数 269

评论数 0

SimpleGraphX PageRank shell

package week7 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.graphx._ import org....

2015-12-02 08:36:35

阅读数 378

评论数 0

hive参数调节

一.优化切入后 session作用域 set mapred.job.priority set mapred.job.priority=VERY_HIGH 整体map执行90%,才会启动reduced MR中间压缩 set hive.exec.compress.intermediate=tr...

2015-12-02 07:39:26

阅读数 1329

评论数 0

SparkSqlForTest

package week4 /**  * Created by Administrator on 2015/3/31.  */ import java.text.SimpleDateFormat import org.apache.spark.{SparkConf...

2015-12-02 07:37:43

阅读数 296

评论数 0

english

1.No animal experiment,[ɪk'sperɪmənt] , When we were on the operating['ɒpəreɪtɪŋ]  table.Human is the object of the experiment。 If we can choose,th...

2015-11-29 23:24:18

阅读数 225

评论数 0

Deploy_Cluster_CDH

1.卸载java:rpm -qa | grep java   卸载:rpm -e --nodeps  查询出来的包名 2.配置ssh: cd  ~/.ssh/                      ssh-keygen -t rsa                   ca...

2015-11-27 07:57:28

阅读数 963

评论数 0

spark cluster 下 spark-shell/spark-spark提交wordcount sparksql Demo

一:环境配置 My conf/spark-env.sh is: export SPARK_MASTER_IP=node1.cluster.local export SPARK_WORKER_CORES=20 export SPARK_WORKER_MEMORY=12g exp...

2015-11-27 07:34:01

阅读数 1453

评论数 0

kafka安装及使用

一:kafka的安装 1.n5上面下载:wget http://apache.dataguru.cn/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz 2.vi /usr/lib/kafka/config/server.properties    broker.id=5 ...

2015-11-26 23:04:51

阅读数 912

评论数 0

Deploy_Cluster_Apache

一:环境部署 修改主机名:vi /etc/sysconfig/network 修改主机名和IP的映射关系:vim /etc/hosts java安装 卸载之前版本的java 1.卸载java:rpm -qa | grep java   卸载:rpm -e --nodeps  查询出来的包名 1.c...

2015-11-26 23:01:22

阅读数 557

评论数 0

maven 安装纪录

一:在线安装方式 m2e - http://q4e.googlecode.com/svn/trunk/updatesite-iam/ Help -> Install New Software… 1.http://download.eclipse.org/technology/...

2015-11-24 23:04:05

阅读数 344

评论数 0

spark 单机模式

一.安装scala http://www.scala-lang.org/download/2.10.6.html tar -zxvf scala-2.10.5.tar 二.安装spark 1.下载 http://spark.apache.org/downloads.html ...

2015-11-24 14:47:56

阅读数 728

评论数 0

提示
确定要删除当前文章?
取消 删除