robert_jack-CSDN博客

原创 IDEA+SBT+scala的spark框架搭建

步骤一：安装IDEA1.下载安装包Jetbrain官网下载地址我选的是windows的.exe安装包2.安装双击ideaIU-2018.1.8.exe安装包一路next，最后点击install3.运行激活方式可自行百度或google步骤二：IDEA中创建scala项目1.下载scala插件点击Scala下面的install，其他选项可选2.创建scala项目左边...

2019-12-10 18:41:09 512

原创 centos7安装配置spark

步骤一：安装spark1.下载spark安装包wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz2.解压并安装mv spark-2.1.0-bin-hadoop2.6 ../spark2.13.配置环境变量vi /etc/profile#在末尾加入如下两条语句export SPARK_H...

2019-12-06 16:24:15 374

原创 Centos7安装配置redis教程

本文的操作均在Centos7（linux）环境下进行1.下载安装包（4.0版本）#下载wget http://download.redis.io/releases/redis-4.0.14.tar.gz#解压tar -zxvf redis-4.0.14.tar.gz#转移mv redis-4.0.14 /home/zzy/redis4cd /home/zzy/redis4#编...

2019-12-03 11:10:01 137

原创 redis常见命令

1. Redis基础命令 info —- 查看信息 ping —- 测试连接 quit —- 退出连接 save —- 持久化 dbsize —- 查看key数量 select —- 选择db flushdb —- 清除当前db flushall —- 清除所有db2. Redis常用数据类型类型说明string字符串list链表se...

2019-12-03 10:12:59 187

原创 Vim常用命令

1. vim模式在这里插入代码片正常模式（按Esc或Ctrl+[进入）左下角显示文件名或为空插入模式（按i进入）左下角显示--INSERT--可视模式（按v进入）左下角显示--VISUAL--2. 打开文件# 打开单个文件vim file # 同时打开多个文件vim file1 file2.. # 在vim窗口中打开一个新文件:open [file] ...

2019-11-28 20:04:29 204 1

原创 Centos中部署伪分布式Hadoop超详细教程

步骤一：安装JDK1.81.卸载centos系统自带的openjdk，此步的目的是避免JDK冲突，openjdk的路径为（/usr/lib/jvm）1.1 查看openjdk版本#查看系统自带的openjdk版本# java -versionopenjdk version "1.8.0_232"OpenJDK Runtime Environment (build 1.8.0_232-b...

2019-11-26 15:22:09 422

原创 Python3数据结构常用操作

一、列表（list）1.添加元素1.1 append(new_element)ls = []#朝列表尾部添加单个元素ls.append(5)#ls = [5]#1.2 extend(newList)#添加单个列表，如 L = [1,2,3]ls.extend(L)print(ls)#ls=[1,2,3]1.3 insert(index, new_element)i...

2019-11-22 18:56:12 712

原创 Centos7配置pyspark环境

一、安装python（下载Anaconda3版本）使用wget下载安装包wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x86_64.sh2.安装（默认安装路径为/root下，可以自行更改）sudo bash Anaconda3-5.3.1-Linux-x86_64.sh...

2019-11-21 12:47:19 1868

原创 centos/ubuntu服务器输入正确密码却进不去系统界面（解决办法）

1.问题分析：这种问题经常是由于/etc/profile文件或者bashrc文件中的内容有错误，主要是用户自己添加的环境变量或内容出现问题，同时执行了source /etc/profile 或者 source ~/.bashrc，导致所有命令均不可用。再次说一下:/etc/profile是对系统内所有用户均生效（影响较大）,修改环境变量。而~/.bashrc是针对用户自己而言，不对其他用户...

2019-11-10 18:36:13 4043

原创 Win10系统利用VirtualBox部署Centos8环境

步骤一：1.下载VirtualBox安装包Oracle官方下载地址 https://www.virtualbox.org/wiki/Downloads2.直接运行VirtualBox-6.0.12-133076-Win.exe安装程序3.一路next（自定义安装路径，默认是装在C盘）4.VirtuaBox安装成功步骤二：1.下载Centos8安装镜像（ISO文件）官...

2019-11-10 15:20:10 4162

原创 Anaconda下管理虚拟环境

1、在本机中安装Anaconda，配置环境变量，设为默认python解释器。2、安装virtualenvconda install virtualenv3、创建名为my_env_name虚拟环境。conda create -n my_env_name python=verison(python2.7/3.7)4、conda常用的命令。conda env list 或 conda in...

2019-11-01 15:56:59 131

原创如何部署Django项目在Centos6服务器（Anaconda3+MongoDB+Django）

本文把下载用的安装包放在/home/download目录下Step1: 安装Anaconda3.5.11.下载安装包Anaconda3-5.3.1-Linux-x86_64.sh，并将压缩包移动至/home/download下，由于国外官网下载速度较慢，所以我选的是清华大学镜像（已恢复）wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/ar...

2019-10-30 14:21:32 336

sinat_33436087的博客