weixin_45495389的博客

python http 传输数据

Spark访问HIVE知识点1：Spark访问HIVE上面的数据配置注意点：.1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你sparkhome/lib中（spark2.0之后是{spark_home}/lib中（spark2.0之后是sparkh​ome/lib中（spark2.0之后是{spark_home}/jars下），不清楚就全部拷贝过去2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf目录下3.

安装Zookeeper安装Hadoop三个启动Zookeepersh zkServer.sh startsh zkServer.sh status启动Hadoop的伪分布式start-all.sh解压安装包：tar -xvf hbase-0.98.17-hadoop2-bin.tar.gz进入confcd hbase-0.98.17-hadoop2/conf编辑hbase-...

三个节点关闭防火墙：service iptables stopchkconfig iptables off三个节点需要修改主机名：vim /etc/sysconfig/network修改HOSTNAME属性，例如：HOSTNAME=hadoop01重新生效：source /etc/sysconfig/network三个节点需要进行IP和主机名的映射：vim /etc/host...

关闭防火墙安装JDKJAVA_HOME=/home/presoftware/jdk1.8NODE_HOME=/home/presoftware/node6PATH=PATH:./:PATH:./:PATH:./:JAVA_HOME/bin:$NODE_HOME/bin修改主机名，在Hadoop中，要求主机名中不能出现_和-cd /etc/sysconfigvim netw...