代码写的越急，程序跑得越慢。

Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test"); // 自动提交开关 props.put("enable.auto.commit", "true"); // 自动提交的时间间隔，此处是1s

broker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。 broker-list用来指定集群中的一个或者多个服务器，一般我们再使用console producer的时候，这个参数是必备参数；另外一个必备的参数是topic，如下示例： [atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop002:9092 --topic first

方法1：针对所有用户有效，所以只能在开发过程中使用；存在危险 vi /etc/profile export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin 方法2：针对当前特定用户有效

通过执行 echo $SHELL 命令可以查看到当前正在使用的 Shell 。还可以通过 cat /etc/shells查看当前系统安装的所有 Shell 种类。

问题：因为之前hadoop集群上配了lzo，spark还没有配置 方法：在spark的spark-env.sh中配置lzo export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/module/hadoop-2.7.2/lib/native export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar ..