bit1129的博客

数据算法：Hadoop/Spark大数据处理技巧https://item.jd.com/11993447.html 图解Spark：核心技术与案例实战https://item.jd.com/12021791.html https://item.jd.com/11889267.htmlHadoop 2.X HDFS源码剖析 Spark大数据分析实战https...

如何在Windows上运行spark-shell 1. 下载winutils.exe，加入放置到d:/software/Hadoop/bin/winutils.exe目录下，注意，winutils.exe文件的上级目录一定是bin2. 开启一个windows命令行窗口，在d:/software/Hadoop/bin目录下执行winutils.exe chmod 777 D:\tmp\...

pstree -p `ps -e | grep cassandra| awk '{print $1}'` | wc -l查看Cassandra进程的线程数 pstree -p | wc -l查看所有的线程数 pstree -p <pid> | wc -l查看指定进程的线程数...

class CSuper {}class C extends CSuper {}class C2 extends CSuper {}class CSub extends C {}object Scala8 { /*** * * @return */ val func1 : ...

对于如下的Hive JDBC连接串，!connect jdbc:hive2://hiverserver.node:10000/default;principal=hive/_HOST@HADOOP.JD;kerberosAuthType=kerberos;hive.server2.proxy.user=0e276318a87ced54171884ed765e9962;  使用hi...

关于Hadoop ProxyUser的出现动机，参看https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/Superusers.html 线上环境做了如下配置  <!--hadoop proxyuser-->  <property>    <name>...

访问地址是 http://hadoop.bit.com:50070/webhdfs/v1/user？op=LISTSTATUS 其中的user是HDFS上的文件路径/user, HTTP REST API的详细信息参看https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/WebHDFS....

1.hdfs权限检查启用，需要在hdfs-site.xml中做如下配置：      <property>    <name>dfs.permissions.enabled</name>    <value>true</value> 1.1. 默认情况下，用户在HDFS上创建的文件和目录的权限是rwxr-xr-x，即...

1. 使用set命令，设置参数hive>set XYZ=abchive>select * from t1 where line = '${hiveconf:XYZ}' 等价于 hive>set XYZ=’abc‘hive>select * from t1 where line = ${hiveconf:XYZ} 2.以hive --hi...

1. 创建tar包，对目录打包tar czvf localdir.tar.gz localdir 2. 不解压的情况下，查看tar.gz包的内容tar ft localdir.tar.gz注意ft是没有-的，这个跟jar ft abc.jar的格式一样...

建立如下的目录结构：.└── d1    ├── d10    │   └── scheduler-center.log    └── result.json 1. 执行如下命令cp d1 d2那么报错，cp: 略过目录"d1"，并且当前目录下并没有d2目录 2. cp -r d1 d2...

SCP命令可以将本机的一个文件复制到远程指定目录下，也可以将本机的一个目录递归复制到远程的指定目录下，远程递归复制很重要，比如对于hadoop集群，在一台机器上配置完成，需要将整个目录复制到远程各个节点 scp  -r localdir hadoop@localhost:/home/hadoop/learninglinux/ddd 以上命令将本机的localdir递归复制到...

ssh命令在分布式集群环境下很重要，可以用于在一台机器XYZ上通过将要执行的shell脚本分发各个节点机器，然后通过ssh命令，在XYZ这台机器上，远程执行各个节点上的这个脚本， 1. 如果要远程执行的命令很多很长，可以写一个脚本，然后首先分发这个脚本，再执行这个脚本ssh可以借助for循环依次执行下面的语句,从而达到在各个节点执行a.sh的目的REMOTE_HOST=local...

<property>    <name>hive.server2.support.dynamic.service.discovery</name>    <value>true</value>  </property>  <property>    <name>hive.server

启用授权选项，默认是false，后面的授权操作基于此选项为true进行set hive.security.authorization.enabled=true========================基于用户的授权===============================获取当前用户set system:user.name授权在指定库下面删除表grant drop on database...

1. Hadoop配置压缩算法(Hadoop的配置属性，Hive读取core-site.xml文件中的配置，可以再hive-site.xml中配置以覆盖Hadoop中的配置)key: io.compression.codecsvalue:org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCode...

1. 杀死一个运行在Yarn上的application yarn application -kill application_1428487296152_25597  2 

 日志： 2015-09-02 14:46:27,765-[TS] DEBUG Executor task launch worker-3 org.apache.spark.sql.execution.joins.SortMergeJoin - Creating Projection: List(classId#2), inputSchema: List(stuId#0, stuNa...

代码 2015-09-02 14:46:27,226-[TS] DEBUG Executor task launch worker-1 org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection - code for input[0, StringType],input[1, StringType],i...

代码 public SpecificOrdering generate(org.apache.spark.sql.catalyst.expressions.Expression[] expr) { return new SpecificOrdering(expr);}class SpecificOrdering extends org.apache.spark.sql....