- 博客(26)
- 收藏
- 关注
RSS订阅原创 MapReduce介绍
因为有这样的溢出值的存在，可能会导致最后一个分片的数据，实际存储在两个块中。在ReduceTask处理数据的时候，可以按照这个标签，处理数据。ReduceTask的数量是由分区数量来决定的，每一个ReduceTask处理一个分区的数据。文件的数量，是由ReduceTask来决定的，一个ReduceTask生成一个文件。下，可以在Map端进行一次小的合并操作，减少MapTask输出的文件的体积。有时候我们需要将所有的数据，按照不同的分类，输出到不同的文件中。默认的情况下，分片的大小与分块的大小是一致的。
2023-05-22 21:35:25
958
原创 Python数据容器总结(字典部分)
scores.update([('自然', 88), ('音乐', 78), ('数学', 78)])scores = {'语文': 89, '数学': 90, '英语': 88, '物理': 79}scores = {'语文': 89, '数学': 90, '英语': 88, '物理': 79}scores.update({'政治': 90, '体育': 89, '语文': 99})获取所有的键值对组合，返回的是由(键, 值)元组组成的二维列表。print(scores.get('语文1', 0))
2023-05-06 21:23:31
222
原创 Python数据容器总结(集合部分)
求差集，左边集合包含，但是右边集合不包含的元素（左边的集合-交集）。frozenset: 表示不可变集合，类似于tuple，不可以修改集合中的元素，不可以增加、删除元素。如果A除了包含B集合中所有的元素之外，还有其他的元素，那么B就是A的真子集。求并集，两个集合中包含的所有元素。如果B集合中的所有元素都在A集合中包含，那么B就是A的子集。判断右边的集合，是否是左边集合的真子集。判断左边的集合，是否是右边集合的真子集。判断右边的集合，是否是左边集合的子集。判断左边的集合，是否是右边集合的子集。
2023-05-06 21:09:34
237
原创 Pyhon数据容器总结(列表部分)
列表：是一个数据容器，是用来容纳若干数据的# 是一个有序的、可变的数据容器# 有序: 元素的添加顺序和存储顺序是一致的，可以使用下标（索引）访问元素# 可变: 列表中的元素可以做到随时的添加、删除、修改# 注意事项:# 理论上来说，列表中可以存储不同数据类型的元素# 但是，在实际开发中，我们需要保证数据的类型一致# 1. 字面量: 需要将元素写入到一对[]中print(l1)l2 = []print(l2)# 2. 通过 list() 函数，将其他的容器，转成列表。
2023-05-06 20:44:24
179
原创 虚拟机的常见错误
虚拟网络设置是Inter Virtual Technology 这个选项，选择 Enabled ，摁 F10,保存并退出。需要先在百度上查找你的电脑型号对应的进入BIOS的快捷键是什么，一般是Fn+F12或者F12,或者是Fn+ F2 等。
2023-04-17 19:54:11
796
原创 虚拟机三种网络模式
其实就是你的虚拟机当做局域网中的一员，跟你的主机是平起平坐的。虚拟机的网段和主机的网段是一样的。比如 主机是192.168.1.101 , 虚拟机也是192.168.1.102.....弊端：假如你现在从学院回家了，主机的IP会发生变化，而你的虚拟机由于都是设置的静态，所以不发生变化，此时主机和虚拟机就不通了。有利的：我们可以集体形成一个大的局域网。使用到的网卡是VMNet0。
2023-04-17 19:52:02
270
原创 SQL中的子查询
当我们进⾏语句查询的时候，总会遇到我们需要的条件需要通过另⼀个查询语句查询出来后才能进⾏，就是说A 查询语句需要依赖B 查询语句的查询结果，B 查询就是⼦查询，A 查询语句就是主查询，⼀个SQL语句可以包含多个⼦查询。
2023-04-17 19:20:37
12541
原创 用Oracle链接数据库Navicat
下载oci 软件：https://www.oracle.com/database/technologies/instant-client/winx64-64-错误原因就是oci.dll版本不匹配, 通常是过低, 即低版本的oci.dll连接⾼版本Oracle. 解决办法就是将oci.dll更换为⾼版本。登录laoyan 这个账户，输入账户和密码即可。使用Navicat远程连接Oracle。选择新的ori.dll 路径。进入 sqlplus。退出 使用 exit。
2023-03-30 19:02:48
273
原创 Oracle安装
Oracle 安装⽂件不允许通过 root ⽤⼾启动，需要为 oracle 配置⼀个专⻔的⽤⼾。由于我们安装的Centos 是最⼩化安装，没有图形化界⾯，所以直接运⾏会报错，不会出现图形化的界。修改用户环境变量的语句是： 先进入到该用户下面 /home/用户名/.bash_profile。处理办法有两种：要么安装⼀个带有图形化界⾯的Centos，要么在这个基础上安装图形化界⾯。Oracle数据库非常的大， 大概几个G，运行起来也非常的吃内存。使用的是用户环境变量，不是系统环境变量。
2023-03-30 18:59:33
277
原创 python的安装&基础语法
Python的发⾳与拼写• Python的意思是蟒蛇，源于作者喜欢的⼀部电视剧• Python的作者是Guido van Rossum（⻳叔）• Python是⻳叔在1989年圣诞节期间，为了打发⽆聊的圣诞节⽽⽤C编写的⼀个编程语⾔，也受shell 语言和 ABC• Python正式诞⽣于1991年• Python的解释器如今有多个语⾔实现，我们常⽤的是CPython（官⽅版本的C语⾔实现），其他还。
2023-03-28 20:49:28
172
原创 数据库&DDL&DML语句
我们使用的mysql不是真正的数据库，而是数据库管理系统（DBMS）,既然是一个数据库软件，该软件要想正常的运行，必须依赖一些数据，这些数据存放在了默认的4个数据库中。1）DDL: （Data Definition Language ）如何定义的语⾔ (如何创建数据库，创建表，创建字段等)针对的是我们表中的数据的操作：新增、修改、删除。3）DQL: （查询语⾔，重中之重）（数据的各种查询，你每天都在查数据）2）DML: (数据库操作语⾔) ⼀般指的是（数据新增，修改，删除等）红名单：不要触碰的名单！
2023-03-24 21:27:47
237
原创 如何使用nginx搭建tomcat集群
还有一种情况：在真实的公司里面公司的服务器是有优劣的。轮询不一定是适合的，配置高的服务器要多干活才可以。1、不断的访问这个网址，一会儿tomcat1 给我响应，一会儿显示tomcat3 的页面。在 /usr/local/tomcat3/webapps/ROOT 下 index.jsp。修改 /usr/local/tomcat3/conf 文件夹下的server.xml。由于修改的是Jsp ，所以要重新编译，重启tomcat3服务器。权重越⾼分配的请求越多，权重越低，请求越少。修改tomcat3的端口号。
2023-03-22 20:45:57
248
原创 如何使用Nginx部署两个Tomcat网站
建议：先把hosts拉到桌面编写，编写完成再拉回去，如若出现电脑阻止可以先把杀毒软件关掉。由于启动第二台的时候，会出现端口被占用的问题，所以要修改tomcat2的端口。在 /usr/local/tomcat2/conf 下找 server.xml。在 /usr/local/nginx/conf/ 下找 nginx.conf。进入到bin目录下 cd /usr/local/tomcat1/bin。进入到bin目录下 cd /usr/local/tomcat2/bin。保存成功后，刷新环境变量。
2023-03-22 19:47:47
976
原创 在finalshell中如何安装nginx
2、备份⼀下：cp CentOS-Base.repo CentOS-Base.repo.bak。3、启动后查看是否有nginx： ps -aux | grep nginx。如果防火墙忘记关闭，是访问不了网址的。Nginx的默认端口是80。六、使⽤configure命令创建⼀makeFile⽂件。二、配置yum源为阿里云（这一步可配可不配）。注：ip地址是自己的ip不要打我的。使⽤的版本是1.8.0版本。2、启动：./nginx。4、清除yum的缓存。补充：nginx的操作。一、先下载nginx。
2023-03-22 19:09:22
913
1
原创 Hadoop环境搭建 Hbase环境配置
1、将Hbase安装包拉到/opt/software/文件夹中安装包版本：hbase-2.2.0-bin.tar.gz2、解压Hbase安装包到/opt/module/文件夹下cd /opt/softwaretar -zxvf 安装包名字 -C /opt/module3、修改系统环境变量vi /etc/profile在编辑面板中添加如下内容:export HBASE_HOME=/opt/module/hbase-2.2.0export PATH=$PATH:$HBA.
2021-12-19 20:17:23
250
原创 Hadoop环境搭建 Zookeeper集群部署
前提：关闭防火墙（1）查看防火墙是否关闭systemctl status firewalld（2）关闭防火墙systemctl stop firewalld（3）设置防火墙开机不启动systemctl disable firewalld1、将zookeeper安装包拉到/opt/software/文件夹中安装包版本：apache-zookeeper-3.5.7-bin.tar.gz2、解压cd /opt/module/tar -zxvf apache-z.
2021-12-16 15:13:49
1734
2
原创 Hadoop环境配置 Hive的安装与配置
一、Hive 安装1、下载安装包：apache-hive-3.1.2-bin.tar.gz上传至linux系统/opt/software/路径2、解压软件cd /opt/software/tar -zxvf apache-hive-3.1.2-bin.tar.gz3、修改系统环境变量vi /etc/profile4、添加内容：export HIVE_HOME=/opt/module/apache-hive-3.1.2-binexport PATH=$PATH:$H
2021-12-16 14:41:03
1356
原创 Hadoop环境搭建 MYSQL环境配置
1、将MySQL安装包拉到/opt/software/中 (直接拉进即可)2、检查当前系统是否安装过Mysql: rpm -qa|grep mariadb3、如果存在 mariadb-libs-5.5.56-2.el7.x86_64 通过如下命令卸载rpm -e --nodeps mariadb-libs 用此命令卸载 mariadb4、将其解压到 /opt/module 下命令为： tar -xf 要解压的文件 -C /opt/module5、...
2021-12-14 11:52:30
1978
原创 ssh 免密配置、修改hadoop配置文件
一、在每个节点生成公钥和私钥，并拷贝Hadoop100：生成公钥和私钥命令：ssh-keygen -t rsa这种情况直接敲（三个回车）将公钥拷贝到要免密登录的目标机器上 [root@hadoop100] ssh-copy-id +自己moba名 如图所示： 注：自己克隆的都需要输入，第一遍需输入密码（是自己虚拟机的密码），配置成功后就可以不需要密码了。没出错就算是成功的 （注：我的是已经配置过了的直接就显示了）当你在...
2021-12-14 11:23:22
2764
原创 二、Hadoop完全分布部署
集群配置注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。一、核心配置文件配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）1、Linux系统中获取JDK的安装路径：[soft863@ hadoop100 ~]# echo $JAVA_HOME/opt/modu
2021-12-12 15:30:20
404
原创 Hadoop伪分布部署
一、在hadoop中执行在/opt/module/hadoop-3.1.3/share/hadoop/mapreduce 目录中执行文件命令：hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/test/input/ /opt/test/output/count.txt然后查看执行结果切换到存放执行后文件/opt/test/output/count.txt目录中查看执行后的文件二、伪分布部署（1）部署环境
2021-12-12 15:03:09
354
原创 Hadoop 环境搭建，创建moba、环境配置(1)
虚拟机连接Moba一、先打开虚拟机Hadoop100二、打开MobaXterm1、New session 创建新的moba2、红框内打自己虚拟机的IP地址黄框内是自己的管理员用户 root创建完成之后侧面就会出现自己所创建的IP3、 要在联网的情况下在开启 不然就会连接失败4、 连接成功就是下面的形式jdk、hadoop环境配置一、在opt文件夹下分别创建两个文件夹(software和module)命令：mkdir /opt/software...
2021-12-12 14:47:37
660
原创 Linux网络配置、克隆 (2)
一、虚拟机的网络配置1、2、二、windows的网络配置win+R打开运行面板，输入cmd进入终端面板在终端面板输入ping 192.168.1.100，出现（0%丢失）则配置成功 成功如下：如若没有出现以上情况则一、虚拟机的IP出现错误则可查看虚拟机IP 命令为：1、ifconfig -a2、ip addr...
2021-12-12 14:19:11
1715
原创 Linux虚拟机IP地址、主机名、映射 (1)
一、修改主机名命令hostnamectl set-hostname +想要修改的主机名修改完可以输入 bash 来查看你是否修改成功二、修改IP地址命令vi /etc/sysconfig/network-scripts/ifcfg-ens33进入需修改内容如下：(1)修改为静态获取IPBOOTPROTO=”static”(2)添加IP地址IPADDR=192.168.1.100(3)添加网关GATEWAY=192.168.1.2(4)添加子网掩码N
2021-12-09 15:08:54
2641
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人