大数据
kenllf
这个作者很懒,什么都没留下…
展开
-
【大数据 / 环境配置 / KEN】CentOS 7.7 Spark-2.4.6+Scala-2.11.8 安装(6)
CentOS 7.7 Spark2.4.6 安装首次发布时间:2020/8/20最后修改时间:2020/8/20摘要下载 Spark下载地址历史版本下载地址版本选择下载我这里选的是 spark-2.4.6,即当前 2.x 的最新版点击下图红框中的 spark-2.4.6/点击 spark-2.4.6-bin-hadoop2.7.tgz 进行下载即可将 Spark 压缩包移动到 CentOS 系统中下载完毕后,要把下载好的 spark-2.4.6-bin-ha原创 2020-08-21 10:31:14 · 615 阅读 · 0 评论 -
【大数据 / 环境配置 / KEN】CentOS 7.7 Hadoop2.x 安装(5)
CentOS 7.7 Hadoop2.x 安装首次发布时间:2020/8/18最后修改时间:2020/8/18摘要下载 Hadoop下载地址最新版下载地址历史版本下载地址版本选择下载我这里选的是 hadoop-2.8.5其实大家选其它版本也行,影响不大,也可以选跟我一样的点击下图红框中的 hadoop-2.8.5/点击 hadoop-2.8.5.tar.gz 进行下载即可不要点错其它了将 Hadoop 压缩包移动到 CentOS 系统中下载完毕后原创 2020-08-19 11:10:16 · 215 阅读 · 0 评论 -
【大数据 / 环境配置 / KEN】CentOS 7.7 JDK 安装(4)
JDK 安装首次发布时间:2020/8/14最后修改时间:2020/8/14摘要卸载 openjdk(不是必须的)如果安装 CentOS 的时候没有选择 minimal(最小化)安装有可能会预装了 openjdk,导致软件冲突如果确实预装了 openjdk 的,就需要先将其进行卸载查看是否有通过 rmp 安装的 jdkrpm -qa | grep java如果预装了 openjdk 的话,有可能会有以下信息打出来:java-1.8.0-openjdk-1.8.0.191.原创 2020-08-17 17:01:48 · 247 阅读 · 0 评论 -
【大数据 / 环境配置 / KEN】CentOS 网络配置(3)
CentOS 网络配置首次发布时间:2020/8/10最后修改时间:2020/8/10摘要注意本文是针对大数据场景下,多节点之间通信所进行的网络配置而不是常规的让系统能够连通外网的网络配置节点数本文章基于三个节点的场景:一个 master 节点两个 slave 节点配置网络服务(每个节点都要配置)修改网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens33(这个文件的后缀各有不同,以自己的为准)BOOTPROTO=s原创 2020-08-13 10:17:37 · 221 阅读 · 0 评论 -
【大数据 / 环境配置 / KEN】CentOS 系统安装(2)
CentOS 系统安装首次发布时间:2020/8/6最后修改时间:2020/8/6摘要下载 CentOS官方下载地址http://vault.centos.org/进入下载官网我选的是 7.7.1908 版本然后选择 isos选择 x86_64点击 CentOS-7-x86_64-DVD-1908.torrent下载下来的是 种子(torrent) 文件用迅雷等工具打开该 种子(torrent) 文件,勾选下载项中的 CentOS-7-x86原创 2020-08-08 10:12:48 · 241 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 类(12)
类首次发布时间:2020/8/4最后修改时间:2020/8/4本系列文章基于 python3 版本摘要面向对象类类的构成定义一个类创建对象self初始化方法面向对象说到类,必须要提到面向对象编程在函数之前的学习都是面向过程的这一步做什么,下一步做什么,顺序执行,一直到执行结束假设想要喝鱼汤,以面向过程来说就是:买鱼杀鱼把鱼煎一下放调料放水开火烧开喝鱼汤以面向对象的方式就是:找个饭店付钱喝鱼汤小结面原创 2020-08-04 19:09:48 · 152 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 函数(11)
函数首次发布时间:2020/8/3最后修改时间:2020/8/3本系列文章基于 python3 版本摘要什么是函数?之前学的内容,都是一句一句的从上往下依次执行的并且如果有需要重复用到的代码,要再重新写一下在程序开发的过程中,经常需要某块代码多次执行但是为了提高编写效率,通过代码的重(chong)用,把具有独立功能的代码块,组织成一个小模块,这就是函数如何定义一个函数def 函数名(): 代码代码示例:def func(): pri原创 2020-08-04 16:30:25 · 159 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 字符串、列表、字典、元组的遍历(10)
字典首次发布时间:2020/8/3最后修改时间:2020/8/3本系列文章基于 python3 版本摘要字符串的遍历列表的遍历元组的遍历字典的遍历遍历字典的 key遍历字典的 value遍历字典的元素遍历字典的键值对(key-value)实现带索引的遍历公共方法内置函数遍历通过 for ... in ...: 语句,可以遍历 字符串、列表、字典、元组 等数据结构字符串的遍历str = 'abcdef'for i in str: prin原创 2020-08-03 20:18:33 · 170 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 字典(9)
字典首次发布时间:2020/8/3最后修改时间:2020/8/3本系列文章基于 python3 版本摘要字典介绍格式通过键(key)访问值(value)字典的常见操作修改元素添加元素删除元素字典介绍各位应该都用过新华字典,查字的时候,常常会用到按拼音查字,可以快速帮我们找到想找的字比如想找 大 字,先找 d,再找 a,就可以找到 大 的谐音字,然后可以从中找到 大 字dict = {'d':'a'} 就是字典的格式格式在程序中,字典的格式:Chi原创 2020-08-03 18:20:56 · 180 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 元组(8)
元组首次发布时间:2020/7/28最后修改时间:2020/7/28本系列文章基于 python3 版本摘要什么是元组?定义一个元组元组的内置函数index()count()什么是元组?在 python 中,用小括号括起来的元素的组合就是元组元组与列表类似,不同之处在于元组不可被修改,是不可变类型定义一个元组myTuple = ('a', 3, 6.6) # 定义一个元组print(myTuple) # 查看元组print(myTuple[0])原创 2020-07-29 10:43:44 · 132 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 列表(7)
列表首次发布时间:2020/7/29最后修改时间:2020/7/29本系列文章基于 python3 版本摘要列表介绍列表的循环遍历for 循环while 循环列表的相关操作【增、删、改、查、排序】列表的嵌套思考题列表介绍什么是列表?列表就是多个元素的集合,列表是一个容器定义一个列表:newList = [1, "a"]列表的循环遍历:使用 for 循环newList = [1, 'a']for i in newList: print原创 2020-07-29 10:43:11 · 143 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 下标、切片、字符串常见操作(6)
下标、切片、字符串常见操作首次发布时间:2020/7/28最后修改时间:2020/7/28本系列文章基于 python3 版本摘要下标、切片字符串常见操作find()index()count()replace()split()strip()下标、切片书架上有 6 本书,从左到右放好,书名分别是:【西西弗神话,维特根斯坦传,苏菲的世界,西方哲学史讲演录,查拉图斯特拉如是说,哲学的故事】给书编好号,从左到右分别是:【1,2,3,4,5,6】下标上面所说的书的编原创 2020-07-28 09:26:45 · 176 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 判断、运算符、循环(5)
判断、运算符、循环首次发布时间:2020/7/20最后修改时间:2020/7/20本系列文章基于 python3 版本摘要关系(比较)运算符号运算符描述实例==判断两个操作数的值是否相等,如果相等则条件为真如果 a=3 且 b=3,则(a == b)为 true!=判断两个操作数的值是否相等,如果不相等则条件为真如果 a=1且b=3,则(a != b)为 true<>判断两个操作数的值是否相等,如果不相等则条件为真如果 a=1,b=3原创 2020-07-25 09:27:15 · 145 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 输出、输入、运算符以及数据类型的转换(4)
输出、输入、运算符以及数据类型的转换首次发布时间:2020/7/17最后修改时间:2020/7/17本系列文章基于 python3 版本摘要输出和输入格式化输出代码示例:# encoding=utf-8basketball = '篮球'piano = '钢琴'print("我打了一下%s,又弹了一下%s" % (basketball, piano))print("我打了一下{},又弹了一下{}".format(basketball, piano)) # 等同于上面的那句原创 2020-07-20 20:37:21 · 179 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 标识符、关键字(3)
标识符、关键字首次发布时间:2020/7/17最后修改时间:2020/7/17本系列文章基于 python3 版本摘要介绍标识符标识符的规则标识符的命名规则关键字的介绍什么是标识符?假设你养了两只鱼,其中一只橘红色,另一只蓝色。你管橘红色的叫小橘蓝色的叫小蓝这里,小蓝、小橘就是标识符相应的,在程序开发领域,标识符就是:开发人员在程序中自定义的一些符号和名称标识符是自己定义的,如变量名 、函数名等标识符的规则标识符由 字母、下划线、数字 组成而原创 2020-07-17 11:07:33 · 152 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 变量以及类型(2)
Python 变量以及类型首次发布时间:2020/7/16最后修改时间:2020/7/16本系列文章基于 python3 版本摘要变量的含义数据类型如何定义不同类型的变量查看变量的类型什么是变量?一个水杯,你可以倒进去可乐,白开水,或者任何你想喝的饮料在程序中,你可以将变量理解为水杯,它是一个容器而水杯中盛放的东西可以理解为变量值,即数据程序是用来处理数据的,而变量就是用来存储数据的其实这个很好理解了,就跟数学里的变量一样的意思例如,x = 6x原创 2020-07-16 16:06:33 · 176 阅读 · 0 评论 -
【大数据 / Python / KEN】Python “Hello World“ 以及注释(1)
Hello World 以及注释首次发布时间:2020/7/15最后修改时间:2020/7/15本系列文章基于 python3 版本摘要打印 hello world注释缩进hello world同其他语言一样,先从 hello world 开始学习 python 的语法 ~# -*- coding:utf-8 -*- # 这是为了让程序支持中文print('hello world') # python3中固定格式,输出单引号(也可以是双引号,都是英文状态下)中的内容原创 2020-07-15 10:50:52 · 192 阅读 · 0 评论 -
【大数据 / Python / KEN】Python 简要说明及应用场景(0)
Python 简要说明及应用场景首次发布时间:2020/7/15最后修改时间:2020/7/15摘要Python 的特性应用场景人生苦短,我用 Python1. 简单、易学语法简单,伪代码编写形式的思想2. 高层语言无需考虑诸如如何管理你的程序使用的内存一类的底层细节3. 可移植性由于它的开源本质,Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)如果你小心地避免使用依赖于系统的特性,那么你的所有 Python 程序无需修改就可以在原创 2020-07-15 10:02:35 · 149 阅读 · 0 评论 -
【大数据 / linux 系统 / KEN】Linux 安装卸载软件(6)
Linux 安装卸载软件首次发布时间:2020/7/13最后修改时间:2020/7/13摘要概述Linux 软件的安装和卸载一直是困扰许多新用户的难题Windows 中,我们可以使用软件自带的安装卸载程序或在控制面板中的 “添加/删除程序” 来实现Linux 中有一个功能强大的软件安装卸载工具,名为 RPM(Red-Hat Package Manager)它可以用来建立、安装、查询、更新、卸载软件软件安装Linux 下软件的安装主要有两种不同的形式:一种安装文件,名原创 2020-07-14 09:48:56 · 145 阅读 · 0 评论 -
【大数据 / linux 系统 / KEN】Vim & Vi :编辑器之神(5)
Vim & Vi :编辑器之神首次发布时间:2020/7/11最后修改时间:2020/7/11摘要vi 简介vi 是 “Visual interface” 的简称,它在Linux上的地位就仿佛 Edit 程序在 DOS 上一样它可以执行输出、删除、查找、 替换、块操作等众多文本操作,而且用户可以根据自己的需要对其进行定制vi 不是一个排版程序,它不象 Word 或 WPS 那样可以对字体、格式、段落等其他属性进行编排,它只是一个文本编辑程序vi 没有菜单,只有命令,且命令繁多原创 2020-07-13 17:52:15 · 148 阅读 · 0 评论 -
【大数据 / linux 系统 / KEN】linux 系统命令信息(4)
linux 终端命令格式首次发布时间:2020/7/11最后修改时间:2020/7/11摘要目标通过远程终端维护服务器时,方便查看服务器上当前的 系统日期和时间/磁盘空间占用情况/程序执行情况学习的终端命令基本都是查询命令,通过这些命令对系统资源的使用情况有个了解系统基本信息查询01.时间和日期序号命令对应的英文单词作用01datedate查看系统时间02calcalendar查看日历,配合 -y 选项可以查看一年的日历02.磁盘信原创 2020-07-11 15:49:09 · 241 阅读 · 1 评论 -
【大数据 / linux 系统 / KEN】linux 基本命令的使用(3)
linux基本命令的使用首次发布时间:2020/7/9最后修改时间:2020/7/9摘要Linux 下文件和目录的特点Linux 文件或者目录的名称最长可以有 256 个字符以 . 开头的文件为隐藏文件,需要用 -a 参数才能显示(ls -a)目标:理解学习 linux 终端命令的原因常用 linux 命令实践原因:Linux 刚面世时并没有图形界面,所有的操作全靠命令完成,如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等工作中,大量的服务器维护工作都是在远原创 2020-07-10 21:33:21 · 269 阅读 · 0 评论 -
【大数据 / linux 系统 / KEN】linux 终端命令格式(2)
linux 终端命令格式首次发布时间:2020/7/7最后修改时间:2020/7/7摘要介绍 linux 命令使用的格式–help 的使用man 的使用目标了解终端命令格式知道如何查阅终端命令帮助信息01.终端命令格式command [-options] [parameter]说明:command:命令名,相关功能的英文单词或单词的缩写[-options]:选项,可用来对命令进行控制,也可以省略[parameter]:传给命令的参数,可以是零个、一个或多个[原创 2020-07-07 21:38:59 · 150 阅读 · 0 评论 -
【大数据 / linux 系统 / KEN】linux 主要目录(1)
linux 主要目录首次编辑时间:2020/7/2最后修改时间:2020/7/2用户工作目录:/home/usr,表示方式:/home/usr~/:根目录一般根目录只存放目录linux 下有且只有一个根目录,所有路径都是从这里开始的例如输入 /home,就是从 / (根目录) 开始,再进入到 home 目录,这是一个绝对路径...原创 2020-07-07 20:57:47 · 168 阅读 · 0 评论