杨文飞的博客

原创 hive1.2.2 （mysql元数据库）

hive下载地址： http://mirror.bit.edu.cn/apache/hive/yum install mariadb mariadb-server systemctl enable mariadb systemctl start mariadb yum install mysql-connector-java该命令会在/usr/share/java/下产生my...

原创 spark2.0.2集群环境搭建 （基于apache.hadoop 2.9.0）

1.解压root@master ~]# tar zxvf spark-2.0.2-bin-hadoop2.7.tgz mv spark-2.0.2-bin-hadoop2.7 /opt/spark2.配置环境变量 vim .bashrcexport SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_...

转载 hdfs-site.xml配置参数详情

 name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节dfs....

原创 Centos7搭建hadoop2.9.0集群

硬件资源 两台服务器： master 128g；slave 64g 场景为测试环境，用root用户1.修改主机名 hostnamectl set-hostname master hostnamectl set-hostname slave 重新连接2.修改/etc/hosts[root@master ~]# vi /etc/hosts127.0.0.1...

原创 spark启动slave时提示 JAVA_HOME not set

解决方法：spark-config.sh 中添加jdk 路径 export JAVA_HOME=/usr/local/java/jdk1.8.0_171 如下：if [ -z "${PYSPARK_PYTHONPATH_SET}" ]; then export PYTHONPATH="${SPARK_HOME}/python:${PYTHONPATH}" export PYTH...

原创 python行转列

lista=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]] ls = []lst = []for i in range(len(lista[0])): for j in lista: ls.append(j[i]) lst.append(ls) ls = []for i in lst: for j in i: ...

原创 阿里云和腾讯云混搭hadoop时namenode启动失败

转载 使用类型参数化数组

在 Scala 中， 你可以使用 new 来实例化一个类。当你创建一个对象的实例时，你可以使用数值或类型参数。如果使用类型参数，它的作用类似 Java 或 .Net 的 Generic 类型。所不同的是， Scala 使用方括号来指明数据类型参数，而非尖括号。比如：val greetString = new Array[String](3)greetString(0)="Hello"g...

原创 使用 foreach 和 for 来实现迭代

args.foreach(arg => println(arg))args.foreach( println)for (arg <-args) println(arg)

原创 Scala函数

Scala 函数以 def 定义，然后是函数的名称（如 max )，然后是以逗号分隔的参数。Scala 中变量类型是放在参数和变量的后面，以 ： 隔开。这种做的一个好处是便于“ type inference ”。同样如果函数需要返回值，它的类型也是定义在参数的后面（实际上每个Scala函数都有返回值，只是有些返回值类型为 Unit ，类似为 void 类型）。此外每个 Scala 表达...

转载 Spark SQL之 Dataframe/Dataset

Dataframe我们可以理解为 Dataframe 就是按列组织的 Dataset，在底层做了大量的优化。Dataframe 可以通过很多方式来构造：比如结构化的数据文件，Hive表，数据库，已有的 RDD，Scala，Java，Python，R 等语言都支持 Dataframe。Dataframe 提供了一种 domain-specific language 来进行结构化数据的操作，这种操...