- 博客(6)
- 收藏
- 关注
RSS订阅原创 python+spark的应用
安装 spark先从spark 官网下载压缩包解压安装包sudo tar -zxf ~/下载/spark-2.4.5-bin-without-hadoop.tgz -C /usr/local/ #注意需换为自己的版本重命名sudo mv ./spark-2.4.5-bin-without-hadoop/ ./spark给当前用户赋权限sudo chown -R hadoop ./spark复制 spark-env.sh.template 文件夹并改名为 spark-
2020-05-25 20:07:31
677
原创 ubuntu-18.04安装jupyter notebook
Jupyter Notebook是基于网页的用于交互计算的应用程序。能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中。准备工作更新软件包sudo apt-get update安装 python3.7（默认 python3 将安装最新版本）：sudo apt-get install python3.7安装python第三方安装工具：sudo apt-get install python3-pip版本信息查看：python3 -V安装jupyter n
2020-05-23 10:09:38
1998
3
原创 Qt操作sqlserver数据库
由于数据库实验作业规定必须要做可视化界面，所以摸鱼怪也只好继续肝 Qt 了 (;´༎ຶД༎ຶ`)准备工作这里的准备工作就是就是建数据库、建表、然后就是在控制面板配置 ODBC 数据源准备内容与以前写的 VS2017操做sql server数据库 准备内容一样（除了代码操作部分）本文也依照VS2017操做sql server数据库里的例子，列出操作的主要代码代码实现部分首先需要在新建的 Qt 工程里的 .pro 文件里引入：QT =+ sql连接数据库#include "mainwin
2020-05-18 17:56:48
4663
3
原创 MapReduce分布式计算
MapReduce计算的数据准备对 hdfs 具体操作细节请参考另一篇博文在桌面新建一个 testinput.txt 文本touch /home/hadoop/桌面/testinput.txt 启动 hadoop:cd /usr/local/hadoop./sbin/start-dfs.shjps创建 hdfs 虚拟文件 input1 和 input2:cd /usr/local/hadoop./bin/hdfs dfs -mkdir -p /user/hadoop/input1
2020-05-14 19:18:04
333
原创 HBase数据库的安装和Shell命令操作
HBase数据库的安装与配置1. 安装下载HBase压缩包（注意：HBase对Hadoop的版本具有依赖性，需根据自己的hadoop版本下载合适版本的hbase）HBase下载地址本人的Hadoop版本是3.2.1，配置的是HBase2.2.2将压缩包解压到/usr/localsudo tar -xzvf ~/下载/hbase-2.2.2-bin.tar.gz -C /usr/local将hbase-2.2.2 (注意改为你的版本号) 重命名为hbasecd /usr/local
2020-05-08 22:09:32
433
原创 分别用Shell命令和JAVA代码对HDFS进行操作
HDFS-Shell命令操作进入/usr/local/hadoop:cd /usr/local/hadoop首次使用hdfs时，需要使用format命令进行格式化:./bin/hdfs namenode -format使用start-dfs.sh命令启动hdfs，可以使用 jps 命令查看是否成功启动:./sbin/start-dfs.sh创建hdfs的文件目录（虚拟）./...
2020-05-01 12:17:20
1093
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人