Spark WordCounter

flatMap()方法是在Map方法基础上将切分的记录做扁平化处理，即切分后的每个单词都是一个新记录，其次map（）将每个单词组成一个(key,value)的形式的元组，将且切分出的单词Word作为key，将1作为value，最后reduceByKey()方法将key相同的记录收集到一起，对其value进行迭代相加，最后得到一个数组count

scala> val file = spark.read.textFile("file:///root/test.txt").rdd
 file: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[3] at rdd at :23
scala> count.collect()//返回RDD的所有元素
count.saveAsTextFile("file:///root/testresult");//将RDD中的元素持久化到本地文件系统中

Hive QL语句

hive> drop table mytable;
OK
Time taken: 0.114 seconds
hive> create table if not exists db2.mytable(

	time string,
	id string,
	keyword string,
	rank int,
	seq int,
	url string)
	row format delimited fields terminated by '\t';
OK
 Time taken: 1.594 seconds
hive> load data local inpath '/root/hiveTestData3.txt' into table db2.mytable;
Loading data to table db2.mytable
OK
hive> select * from db2.mytable limit 10;
OK
20111230000005 57375476989eea12893c0c3811607bcf ���ո��� 1 1 http://www.qiyi.com/
hive> create table if not exists db2.mytable2(
keyword string,
count int)
row format delimited fields terminated by '\t';
OK
Time taken: 0.286 seconds
hive> desc mytable2;
OK
keyword string
 count int
 Time taken: 0.148 seconds, Fetched: 2 row(s)
hive> insert overwrite table mytable2
select keyword,count(time) from db2.mytable group by keyword;
hive> insert overwrite table db2.mytable2
select keyword,count(*) from db2.sogou group by keyword;

scala求pi
蒙特卡洛法求pi
有一随机事件，向方形区域投点，问落在圆形区域的概率
它服从均匀分布：可以表示为：圆形的面积/正方形的面积
假设落在方形区域的点有m个（落在圆形区域也属于落在正方形区域），
也即投点的总数
其中落在圆形的点有n个，m>n
设置圆的半径为1，则面积为π，圆心为（0,0）
正方形边长为2，在x,y轴上的范围为(-1,1),面积为4
n/m = π/4

import scala.math.random
import org.apache.spark.{SparkConf, SparkContext}
object Pi {
 def main(args : Array[String]):Unit={
 val conf = new SparkConf()
 .setAppName("sparktest")
 .setMaster("local")
 val sc = new SparkContext(conf)
 val rdd = sc.parallelize(1 to 10000)
 ##从普通数组创建RDD包含1到10000这10000个数字
 val n = rdd.map(i => {
 ##是rdd中的元素
 val x = random * 2 - 1
 ##x,y代表随机点的坐标，x,和y都在（-1，1）之间
 val y = random * 2 - 1
 ##xx + yy代表到原点的距离，如果<1那么点就落在了圆内
 if (x * x + y * y <= 1) 1 else 0
 }).reduce((a,b) => a + b)
 ##一共有10000个点，全部落在正方形区域，落在圆形区域的有n个
 println(n / 10000.0 * 4)
 sc.stop()