退出安全模式
[hadoop@hadoop000 sbin]$ hadoop dfsadmin -safemode leave
读取sequencefile
import org.apache.hadoop.io.BytesWritable
import org.apache.spark.{SparkConf, SparkContext}
class xxx
object scfileApp {
def main(args: Array[String]): Unit = {
val sparkConf=new SparkConf()
//在spark-shell运行的时候再指定,这里的优先级要比在shell里更高,appname
//shell里有内置
.setMaster("local[2]").setAppName("Spark05")
//定义序列化方式
.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
//要序列化注册的类
.registerKryoClasses(Array(classOf[xxx]))
val sc =new SparkContext(sparkConf)
//读sequenceFile,参数,路径,key(字节的形式,因为seq底层key是二进制的)和value的类型
//用textfile读,有部分数据会乱码
val file = sc.sequenceFile[BytesWritable,String]("/user/hive/warehouse/page_views_sequencefile