spark 开发环境读取mysql

问题导读
1、idea上运行local的spark sql hive流程是怎样的？
2、如何安装配置安装 remote metastore？
3、如何解决org.apache.spark的问题？




在本机上通过idea跑spark sql进行hive查询等操作，一方面可以用于debug spark sql相关源码，另一方面可以加快开发测试进度，比如添加Udf等。
这里总共两步：1、安装hive remote metastore模式 2、idea上的相关配置开发

hive 0.13安装 remote metastore
服务器test01作为remote端,test02作为client端, test02也需要有hadooop环境(和test01一样)
1、下载hive 0.13并解压
2、test01上配置hive-site.xml,加入mysql相关 (包括将mysql connect包放到lib中)

1. <?xml version="1.0"?>  
   
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
   
3. 
   
4. <configuration>  
   
5. 
   
6. <property>  
   
7.   <name>hive.metastore.warehouse.dir</name>  
   
8.   <value>/user/hive/warehouse</value>  
   
9. </property>  
   
10. 
    
11. <property>  
    
12.   <name>javax.jdo.option.ConnectionURL</name>  
    
13.   <value>jdbc:mysql://test01:3306/hive?createDatabaseIfNotExist=true</value>  
    
14. </property>  
    
15. 
    
16. <property>  
    
17.   <name>javax.jdo.option.ConnectionDriverName</name>  
    
18.   <value>com.mysql.jdbc.Driver</value>  
    
19. </property>  
    
20. 
    
21. <property>  
    
22.   <name>javax.jdo.option.ConnectionUserName</name>  
    
23.   <value>hive</value>  
    
24. </property>  
    
25. 
    
26. <property>  
    
27.   <name>javax.jdo.option.ConnectionPassword</name>  
    
28.   <value>password</value>  
    
29. </property>

复制代码

3、启动test01上的metastore server: nohup hive - -service metastore> metastore.log 2>&1 &
默认端口为9083
4、配置test02上的hive-site.xml

1. <?xml version="1.0"?>
   
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   
3. <configuration>
   
4.     <property>
   
5.         <name>hive.metastore.warehouse.dir</name>
   
6.         <value>/user/hive/warehouse</value>
   
7.     </property>
   
8. 
   
9.     <property>
   
10.         <name>hive.metastore.local</name>
    
11.         <value>false</value>
    
12.     </property>
    
13. 
    
14.     <property>
    
15.         <name>hive.metastore.uris</name>
    
16.         <value>thrift://test01:9083</value>
    
17.     </property>
    
18. </configuration>

复制代码

这样test02上通过hive就可以访问test01上的了

idea上运行local的spark sql
前提：本机上的hive client可以使用, 同时我这里用了hadoop2.2版本
我使用的是maven 工程, pom.xml如下：

1. <dependencies>
   
2.     <dependency>
   
3.         <groupId>org.apache.spark</groupId>
   
4.         <artifactId>spark-core_2.10</artifactId>
   
5.         <version>1.1.0</version>
   
6. 
   
7.         <exclusions>
   
8.             <exclusion>
   
9.             <!--默认是1.0.4版本，要去掉-->
   
10.                 <groupId>org.apache.hadoop</groupId>
    
11.                 <artifactId>hadoop-client</artifactId>
    
12.             </exclusion>
    
13.         </exclusions>
    
14.     </dependency>
    
15.     <!-- 引入和hadoop集群相同版本的-->
    
16.     <dependency>
    
17.         <groupId>org.apache.hadoop</groupId>
    
18.         <artifactId>hadoop-client</artifactId>
    
19.         <version>2.2.0</version>
    
20.     </dependency>
    
21.     <dependency>
    
22.         <groupId>org.apache.spark</groupId>
    
23.         <artifactId>spark-mllib_2.10</artifactId>
    
24.         <version>1.1.0</version>
    
25.     </dependency>
    
26.     <dependency>
    
27.         <groupId>org.apache.spark</groupId>
    
28.         <artifactId>spark-sql_2.10</artifactId>
    
29.         <version>1.1.0</version>
    
30.     </dependency>
    
31.     <dependency>
    
32.         <groupId>org.apache.spark</groupId>
    
33.         <artifactId>spark-hive_2.10</artifactId>
    
34.         <version>1.1.0</version>
    
35.     </dependency>
    
36. </dependencies>
    
37. 
    
38. <build>
    
39.     <plugins>
    
40.         <plugin>
    
41.             <groupId>org.apache.maven.plugins</groupId>
    
42.             <artifactId>maven-source-plugin</artifactId>
    
43.             <version>2.2.1</version>
    
44.             <executions>
    
45.                 <execution>
    
46.                     <id>attach-sources</id>
    
47.                     <phase>package</phase>
    
48.                     <goals>
    
49.                         <goal>jar</goal>
    
50.                     </goals>
    
51.                 </execution>
    
52.             </executions>
    
53.         </plugin>
    
54.         <plugin>
    
55.             <groupId>net.alchim31.maven</groupId>
    
56.             <artifactId>scala-maven-plugin</artifactId>
    
57.             <version>3.1.0</version>
    
58.             <executions>
    
59.                 <execution>
    
60.                     <id>compile-scala</id>
    
61.                     <phase>compile</phase>
    
62.                     <goals>
    
63.                         <goal>add-source</goal>
    
64.                         <goal>compile</goal>
    
65.                     </goals>
    
66.                 </execution>
    
67.                 <execution>
    
68.                     <id>test-compile-scala</id>
    
69.                     <phase>test-compile</phase>
    
70.                     <goals>
    
71.                         <goal>add-source</goal>
    
72.                         <goal>testCompile</goal>
    
73.                     </goals>
    
74.                 </execution>
    
75.             </executions>
    
76.         </plugin>
    
77.     </plugins>
    
78. </build>

复制代码

将hive client的hive-site.xml放到resources目录下，这样就可以访问远程的hive metadata了。

Test程序：

1. object Test{
   
2.   def main(args:Array[String]): Unit = {
   
3.     val sc = new SparkContext("local", "test")
   
4.     val hiveContext = new HiveContext(sc)
   
5.     val rdd = hiveContext.sql("select * from test")
   
6.     rdd.collect().foreach(println)
   
7.   }
   
8. }

复制代码

运行时有可能报：

1. Exception in thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4

复制代码

这是因为org.apache.spark默认使用的是hadoop-client-1.0.4, 而我的hadoop是2.2.0, 所以版本不一致，解决方法是将hadoop-client-1.0.4改成hadoop-2.2.0， 解决方法已经在上面的pom.xml中加入了。