hadoop
hadoop
小哇666
专注web/大数据
展开
-
spark-RDD 在 windows环境下 本地远程读写hdfs文件
【代码】spark-RDD 在 windows环境下 本地远程读写hdfs文件。原创 2020-07-28 14:14:33 · 844 阅读 · 0 评论 -
spark-sql 操作 hdfs文件,服务器有kerberos安全认证的
前提:程序是放在服务器上运行,而非在自己电脑本机环境下运行1spark-sql 自己写的代码程序,不做任何改动2 关键是 spark-submit的--keytab,--principal参数如spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/[email protected] --class cn.baidu.service.ApplicationMain ./codeConvert-etl-1.0-...原创 2020-10-30 21:20:15 · 3118 阅读 · 0 评论 -
hdfs dfs -ls 与 hdfs dfs -ls / 区别
hdfs dfs -ls 默认目录是在hdfs文件系统的/user/用户名(一般用户名为hadoop或hdfs)hdfs dfs -ls == hdfs dfs -ls /user/hadoophdfs dfs -ls[hadoop@hadoop000 bin]$ hdfs dfs -lsFound 7 itemsdrwxr-xr-x - hadoop supergroup 0 2018-11-01 06:49 QuasiMonteCarlo_154102614519.转载 2020-10-21 20:25:58 · 2703 阅读 · 0 评论 -
Hadoop的内置的基本数据类型
hadoop是不认识java常用的数据类型的 但是有与之对应的数据类型:BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当<key, value>中的key或value为空时使用Hadoop使用派生于Writable接口的类作为MapReduce计算的数据类型,这原创 2020-08-13 12:23:31 · 1551 阅读 · 0 评论 -
java avro串行化反串行化 方法2 无需使用 avro_tools.jar工具包
Schema schema = new Schema.Parser().parse(new File( "src/main/avro/dog.avsc")); // Using this schema, let's create some users. GenericRecord user1 = new GenericData.R...原创 2019-11-22 10:39:54 · 255 阅读 · 0 评论 -
java avro串行化反串行化 方法1
avsc文件模板{"namespace": "com.twq.spark.rdd", "type": "record", "name": "Dog", "fields": [ {"name": "name", "type": "string"}, {"name": "favorite_number", "type": ["int", "null"]}, ...原创 2019-11-22 10:29:02 · 124 阅读 · 0 评论 -
hdfs常用命令
显示目录信息hadoop fs -ls /显示目录信息(递归子目录)hadoop fs -lsr /创建目录 -mkdirhadoop fs -mkdir -p /user/oozie/oozie_test/fodor_2/a显示文件内容 -cathadoop fs -cat /user/oozie/oozie_test/oo.txt显示文件末尾 -tailhadoop ...原创 2019-09-25 16:05:33 · 457 阅读 · 0 评论 -
java 操作hdfs文件
1 依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.1.0</version></dependency>&l...原创 2019-09-27 12:06:55 · 166 阅读 · 0 评论