a20140724的专栏

MapReduce第一次使用MapReduce是在研究生的阶段，当时是处理一些图片数据，而写的MapReduce程序主要是处理了一些shell脚本，利用MapReduce的切割机制将脚本分到各个机器上去执行。当时是第一次接触大数据的模型，包括前期的集群搭建，环境变量的配置等等。Flink使用Flink是在工作后的第一个任务，利用流处理的模型将kafka中的数据分别处理至postgre...

问题描述：在将本地文件上传到HDFS时出错。上传的代码如下：public static void writeToHdfs() throws Exception{ //String hdfsPath = "hdfs://master:8020/test1/test.txt";//hdfs位置 String localPath = "D:\\test.txt...

通过pip安装tensorflow的时候，安装指定版本pip install tensorflow==1.10.0 但是会出现time out 的情况，还没找出解决方法，欢迎留言 time out的解决办法pip --default-timeout=100 tensorflow==1.10.0.需要研究一下 --default-timeout参数的意思。 由于tensorflow版本...

Spak2.3.4版本已经安装完成，介绍在集群中运行作业的方式。首先是运行Spark自带的样例程序（进入到spark安装目录）： bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g examples/jars/spark-ex...