- 博客(8)
- 收藏
- 关注
RSS订阅原创 PySpark与HBase
PySpark操作入门文章目录PySpark操作入门1 启动PySpark1.1. Spark shell1.2. Jupyter1.3. 设置默认配置2 HBase与PySpark1 启动PySpark通过jupyter启动pyspark有两种方式：spark shell和jupyter启动。1.1. Spark shell修改/etc/profile，添加以下内容，告诉spark使用...
2019-04-15 13:48:32
752
原创 2019/04/03 SHAHED：交互式遥感数据探究
栅格数据的Hadoop应用：SHAHED简述SHAHED：交互式遥感数据探究正在学习大数据和遥感，欢迎讨论，文章内容可能有不对的地方，欢迎指正！现在太晚了，先po上来，明天校对一遍。文章目录栅格数据的Hadoop应用：SHAHED简述SHAHED：交互式遥感数据探究1 简介2 分模块介绍：2.1. Uncertainty handling & Mining2.2. Indexing ...
2019-04-03 21:42:42
277
2
原创 2019/03/10虚拟机环境搭建 基于Yarn的Spark
Hadoop 集群架构工作任务：配置四台虚拟机的工作环境工作时间：2019/03/06-2019/03/15Java环境：JAVA_HOME=/usr/java/jdk1.8.0_181I．集群配置1.虚拟机配置四台虚拟机配置：用户名名称IP配置密码Hostnamehadoophadoop_cluster-110.2.3.584核 8GB 300GB...
2019-04-03 19:29:34
335
原创 2019/02/26服务器Ambari-2.7.3环境搭建
Ambari2.7.3环境搭建工作任务：搭建Ambari集群工作时间：2019/2/26-2019/3/2安装路径：/opt/ambari/Ambari简介：The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, manag...
2019-04-03 19:29:12
584
原创 2019/02/20服务器Hadoop-3.2.0环境搭建
Hadoop-3.2.0 集群架构**工作任务：搭建基于四台服务器的Hadoop集群架构工作时间：2019/2/17-2019/2/20安装路径：/opt/hadoop-3.2.0/注：本文在没有Linux和服务器集群的基础之上自行摸索，所以可能存在很多纰漏。如果想学习Hadoop-3.2.0分布式的搭建方法，可以完全参照2.7.版本的搭建方法，唯一的不同是在指定datanode的文件从3...
2019-04-03 19:29:00
452
1
原创 2019/03/23Python PySide2小程序和打包
Python PySide2小程序和打包工作环境：Python3.6 PySide2 PyInstaller工作时间：2019/03/18-2019/03/23之前已经做了几个小插件，可以实现一些图像处理的功能。但是我认为这样是不完整的。从我大三学C++的时候开始，我就希望自己能够写出一个正式的windows可执行的软件。既要有UI，又要可以脱离Python的环境在任何一个机器上执行。以前我...
2019-03-23 17:08:23
3392
原创 2019/03/17Pyrhon GDAL:灰度图像转RGB图像
PythonGDAL灰度图像转RGB图像工作环境：Python3.6 GDAL Numpy工作时间：2019/03/10-2019/03/17GDAL官方库里有pct2rgb.py的脚本，可以将调色板图8bit像转化为rgb38bit图像，本文在该脚本的基础之上改写了一个将灰度（8bit或者16bit）图像转化为rgb3bit图像的脚本。Python自学刚起步，所以很多地方不符合PEP8等规...
2019-03-23 17:08:07
3608
2
原创 2019/03/17Pyrhon GDAL:图像切割
PythonGDAL灰度图像转RGB图像工作环境：Python3.6 GDAL Numpy工作时间：2019/03/10-2019/03/17本文在AmosHawk,WHU,LIESMARS的代码的基础上进行改进。源代码支持将图像按指定长度切割，但是切割之后的图像不能按照切割位置写入切割后的地理坐标。1.处理思路1.判断任务类型：输入为文件夹还是单个文件，将多个文件按单个图像循环交给处理...
2019-03-23 17:07:49
907
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人