- 博客(54)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop+Zookeeper+Scala+Spark搭建
平台架构：拟使用三台虚拟机搭建hadoop平台，为了节省时间，首先在一台虚拟机上进行操作，另外两台克隆配置好的虚拟机而成。 Hadoop平台的搭建：1，安装虚拟机在此处需要选择自己下载的光盘镜像的位置，选择后选择稍后安装操作系统，然后进行下一步 ...
2021-04-23 16:20:18
492
原创 Hadoop常用命令及范例
hadoop中的zookeeper，hdfs,以及hive，hbase都是hadoop的组件，要学会熟练掌握相关的命令及其使用规则，下面就是一些常用命令及对hbase和hive的操作语句，同时也列出了一些范例start-dfs.sh NameNode 进程启动:hadoop-daemon.sh start namenode DataNode 进程启动:hadoop-daemon.sh ...
2019-06-22 10:18:46
734
1
原创 Hadoop之电信日志数据处理（四）-------web界面实现及可视化效果展示
工具类：public class DBUtils { private static ComboPooledDataSource source = new ComboPooledDataSource(); private DBUtils() { } public static DataSource getSource(){ return source; } publi...
2019-06-19 11:31:04
1676
原创 Hadoop之电信日志数据处理（三）------创建数据库及数据收集
===================================================================#创建数据库create database zebra;use zebra;#创建数据总表create table F_HTTP_APP_HOST( reporttime datetime, cellid varchar(20),...
2019-06-19 11:21:50
926
2
原创 Hadoop之电信日志数据处理（二）------mapreducer端处理
实体类实现：public class HttpAPPHost implements Writable{ //发送报文时间 private String reportTime; private String cellid; private int appType; private int appSubType; //用户ip pr...
2019-06-19 11:18:30
869
原创 Hadoop之电信日志数据处理（一）------业务简介
日志数据说明日志里的某一条数据（以下为一整行数据，以| 为分割符）：77个属性--20533||11|93287887015245963|6||||1|100.82.254.88|100.82.98.100|2152|2152|13849|147855076||||103|1409649427963|1409649428488|1|15|999||0|10.83.124.18||60914...
2019-06-19 11:12:41
2211
3
原创 Hadoop集群的搭建
在搭建hadoop集群前需要实现搭建平台间的免密码登录以及配置好相应的jdk环境，这里不再给出详细配置过程，请自行进行相关配置，配置完成后进行hadoop集群的搭建hadoop平台的搭建：1，安装zookeeper启动四台节点，三台作为zookeeper搭建的基础环境，以root用户登录其中的一台（server1），将zookeeper的压缩包上传到server1并解压，新建/usr...
2019-06-04 16:55:41
382
原创 OpenStack平台的搭建（5）------Nova服务的搭建
安装 openstack-nova 服务和 python-novaclient修改nova配置文件之前先进行配置文件的备份配置/etc/nova/nova.conf 文件中的 Nova 数据库连接并查看配置/etc/nova/nova.conf 文件中的消息驱动模块配置/etc/nova/nova.conf 文件中的消息队列服务的主机名初始化 Nova 数据表...
2019-05-16 10:51:12
862
原创 OpenStack平台的搭建（4）------Glance服务的搭建
安装 openstack-glance 软件备份要修改的主配置文件glance-api.conf设置/etc/glance/glance-api.conf 文件中 sql_connection 项的数据库连接信息并验证备份要修改的主配置文件glance-registry.conf设置/etc/glance/glance-registry.conf 文件中 sql_c...
2019-05-16 10:45:16
1047
原创 OpenStack平台的搭建（3）------KeyStone服务的搭建
Mysql数据库安装成功后开始安装keystone身份验证服务备份keystone的主配置文件，并在配置文件中指定数据库的位置使用 keystone 用户和密码创建数据库和表Keystone服务器配置完成后进行相应的身份验证服务器的配置随机生成admin的管理令牌把令牌信息写入用户的环境变量，保证令牌信息不丢失，方便后面调用echo "export ADMI...
2019-04-11 10:34:08
600
原创 OpenStack平台的搭建（2）------MYSQL数据库的搭建
安装mysql数据库客户端，服务端以及底层环境设置开机自启动修改mysql的主配置文件/etc/my.cnf，添加一行，设定bind-address 项为本机10.0.0.121这个ip启动mysql数据库对mysql数据库进行优化设置mysql数据库的密码设置为与/etc/xiandian/openrc.sh配置相同的密码OpenStack平台的搭建（...
2019-04-11 10:26:17
1181
原创 OpenStack平台的搭建（1）------前期环境准备
openstack的搭建需要有pxe,vsftpd,dhcp服务的底层支持，这里由于之前搭建好，故不再详细描述搭建过程需要搭建的请自行查看下文链接linux之pxe服务的搭建linux之dhcp服务的搭建1，首先创建一台虚拟机，虚拟机创建完成后配置相应的ip /etc/sysconfig/network-script/2，ip地址修改完成后，修改主机的名称为cont...
2019-04-04 10:39:26
1113
原创 路由交换之访问控制列表
百度百科：访问控制是网络安全防范和保护的主要策略，它的主要任务是保证网络资源不被非法使用和访问。它是保证网络安全最重要的核心策略之一。访问控制涉及的技术也比较广，包括入网访问控制、网络权限控制、目录级控制以及属性控制等多种手段。访问控制列表是应用在路由器接口的指令列表。这些指令列表用来告诉路由器哪些数据包可以收、哪些数据包需要拒绝。至于数据包是被接收还是拒绝，可以由类似于源地址、目的地址、端口...
2018-12-08 16:39:20
1401
原创 路由交换之路由重分布
背景介绍 青山大学最近与几家专科类院校进行了合并，合并后成为一家颇有影响的综合类本科院校，学校完成合并工作后，校区的网络互联工作提上了日程表。学校合并后保留二个校区，二个校区间路由器保留原来运行的路由协议不变（东校区运行RIPV2 路由协议，西校区运行OSPF路由协议），通过路由重分布技术，实现校区间的互通。现需要对网络进行适当的配置，实现全网的互通。实验拓扑：IP规划：v...
2018-11-21 20:30:15
9620
原创 路由交换之OSPF单域路由协议配置
【实训目的】（1）掌握ospf协议的配置方法；（2）通过ospf协议实现较复杂的小型网络的互连互通；【实现功能】实现网络的互连互通，从而实现信息的共享和传递。【实训背景描述】某大型企业共有150台主机，企业网络共分为二个区域，普通办公区、信息资料区。网络内部使用S2126为接入用户的交换机，划分了VLAN20和VLAN30两个VLAN，S3550为企业网络的核心设备，用于汇...
2018-10-31 20:50:56
1301
1
原创 路由交换之RIP协议配置
【实训设备】R1762（2台），S3550（1台），S2126（1台），PC（2台）、直连线（2条）、V.35线（1条）【实训拓扑图】【实训内容】（1）在路由器RA、RB上配置接口的IP地址和RA串口上的时钟频率；（2）配置S3550实现VLAN20、VLAN30、VLAN80之间的互通；（3）S3550通过VLAN1中的F0/10接口和RA相连，在S3550上p...
2018-10-30 09:38:34
3148
原创 路由交换之静态路由配置
静态路由是指由用户或网络管理员手工配置的路由信息。当网络的拓扑结构或链路的状态发生变化时，网络管理员需要手工去修改路由表中相关的静态路由信息。静态路由信息在缺省情况下是私有的，不会传递给其他的路由器。当然，网管员也可以通过对路由器进行设置使之成为共享的。静态路由一般适用于比较简单的网络环境，在这样的环境中，网络管理员易于清楚地了解网络的拓扑结构，便于设置正确的路由信息。目标：实现全网互通...
2018-10-29 19:41:27
3543
原创 路由交换之VLAN间通信配置
【网络拓扑】 图4-10 三层交换机连接的多层结构【实验环境】（1）在三层交换机端口1上接一台二层交换机，端口24上接另一台二层交换机，作为TRUNK链路，如图4-10所示（2）在二个二层交换机上分别划分二个不同的虚拟局域网（3）在三层交换机上其他的端口划分二个不同的虚拟局域网（4）在VLAN10的虚拟局域网中的计算机在IP地址在192.168.10.0/24网段...
2018-10-28 18:38:19
493
原创 路由交换之跨交换机VLAN内通信配置
【网络拓扑】【实验环境】（1）在交换机1端口1上接PC1，端口2上接PC2（2）配置PC1和PC2两台主机的IP地址：PC1为：192.168.10.1PC2为：192.168.20.1（3）同理在交换机2的端口1上接PC3，端口2上接PC4（4）配置PC3和PC4两台主机的IP地址：PC3为：192.168.10.3PC4为：192.168.20.4...
2018-10-27 23:05:37
8448
原创 windows账号克隆
首先创建几个用户，其中包含普通用户（为了显现普通用户和隐藏用户的区别）,再创建一个隐藏用户打开DOS命令运行框，输入regedit命令进入到注册表，找到注册表下面的SAM文件夹，如果打不开请要修改administrator的权限，修改权限为完全控制然后打开SAM文件找到每个用户对应的带有注册信息的文件打开管理员的注册信息文件并复制该文件中的F值打开隐藏用户对应的注册文件，将...
2018-10-27 22:22:40
4521
1
原创 如何导入Spring约束文件
首先向eclipse工程中导入Spring所需要的jar包：其次在src路径下创建名为applicationContext.xml的配置文件：然后打开eclipse中的Windows——》Perference输入cata选择XML Catalog选择添加引入Spring约束文件：在xml文件中使用beans属性进行约束文件的引入首先无脑导入xsi文件然后...
2018-10-14 08:38:18
1825
原创 web应用之转账实现
目录 项目简介项目逻辑转账前数据库效果展示转账前端页面实现效果展示转账功能实现web层service层dao层 执行效果 项目简介 金钱对于我们每个人来说都很重要，存钱取钱不能说一点不会出错，但是在一定程度上还是比较安全的，但是如何做到安全转账，下面就简单介绍一下转账功能的实现项目逻辑 该项目通过三层架构...
2018-09-07 10:04:19
2723
原创 C++之面向对象实例
目录 面向对象实例计算一个日期所处当年年份的第几天代码实现学生信息录入 代码实现 类的组合及构造函数类中构造函数的实现及其使用简单的类的定义及其使用...
2018-09-04 08:38:59
5378
原创 c语言之数组应用
所谓数组，是有序的元素序列。若将有限个类型相同的变量的集合命名，那么这个名称为数组名。组成数组的各个变量称为数组的分量，也称为数组的元素，有时也称为下标变量。用于区分数组的各个元素的数字编号称为下标。数组是在程序设计中，为了处理方便， 把具有相同类型的若干元素按无序的形式组织起来的一种形式。这些无序排列的同类数据元素的集合称为数组。数组是用于储存多个相同类型数据的集合。目录数组作...
2018-09-04 08:27:30
4739
原创 JAVA之图书借阅管理
目录图书借阅管理项目简介项目框架图书表信息代码展示主界面查询图书种类 查询图书借阅情况 借书 还书 效果展示图书借阅管理项目简介图书管理主要用于对图书馆书籍信息的管理，主要分为以下五个模块：*，查询模块：该模块主要用于查询现存图书馆中所有书籍的信息，包括书籍名称，作者，出版社...
2018-07-26 16:59:08
15308
1
原创 java之好友查询
目录 项目简介具体实现主要构成代码展示效果展示执行前执行后项目简介该程序用于好友查询主要思想如下：****首先用户要能查询到自己所有好友的信息，这些信息需要保存在数据表中****查询到所有好友之后，由于每个时期都会有好友的离去和新朋友的出现所以要有增加和删除好友的功能具体实现运用java语言连接mysql数据库，使用sql语句和java语句相...
2018-07-25 19:40:22
831
1
原创 linux之Nginx服务+Lnmp服务+Discuz论坛+SVN仓库的搭建
目录nginx服务的搭建及测试添加YUM仓库安装Nginx启动Nginx平滑升级配置用户认证基于域名的虚拟主机添加https网站lnmp服务,discuz论坛的搭建以及nginx地址重写安装LNMP测试PHP页面测试PHP链接MySQL页面开机启动网卡下载、部署论坛Nginx地址重写Nginx URL 重写nginx反向代理进...
2018-07-10 14:59:41
660
原创 python之猜数小游戏
目录 猜数小游戏简介源代码效果展示猜数小游戏简介****首先要让用户自由输入，但是要对输入的值做一个判断只有当用户输入的为一个数值的时候才执行程序，如果输入的不是一个数值要给出相应的错误信息并且能够重新输入****当确定用户输入的为数字时开始进行比较（1）：输入数字大于所要猜的数字，这时要给出相应的提示信息提示用户（2）：同样的当输入数字小于要猜的数字，这时要给...
2018-06-19 20:48:43
12592
原创 linux中pxe批量装机服务的搭建
搭建环境：俩台虚拟机1，关闭防火墙防止在后续操作过程中对实验产生干扰[root@localhost~]#setenforce 0[root@localhost~]#iptables -F2，关闭防火墙后修改yum源挂载光盘，安装与pxe批量装机有关的服务[root@localhost~]#mount /dev/sr0 /mnt/cdrom[root@lo...
2018-06-15 20:54:49
2174
原创 linux下负载均衡keepalived的搭建
Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。keepalived服务的搭建是基于主主复制，所以要想搭建keea...
2018-06-14 19:56:38
1447
1
原创 linux下mysql数据库的主从复制和主主复制
数据库的复制在企业运用颇为广泛，牢牢的掌握数据库的复制对于我们来说很重要，数据库的复制又分为主从复制和主主复制，主从复制的要求是一台数据库作为主服务器而另一台服务器作为从服务器，通过主服务器的变化引起从服务器的变化，而主主复制则是俩台数据库互为主，随机操控其中的一台数据库，相应的在另一台数据库也会产生相应的变化（一）主从复制1，分别在俩台虚拟机中搭建数据库环境（这里使用俩台主机分别命名为128和1...
2018-06-04 18:50:33
3369
1
原创 python二分查找算法
二分排序算法只对于事先排好序的算法有效故在使用二分排序算法之前要对样本序列进行排序排序后，开始进行二分查询：设定俩个标志位：start和stop，取二者平均值和查询数字进行比较，如果可以查到则有以下三种结果：（1）mid所在位置数字大于待查询数字,说明待查询数字在左边。移动stop指向，修改mid的值（2）mid所在位置数字小于待查询数字,说明待查询数字在右边。移动start指向，...
2018-05-28 20:29:37
2141
原创 mysql数据库的备份与恢复
对于一个公司来说，数据库是其不可或缺的一部分，由此可见数据库是多么的重要，下面就让我们一起了解一下数据库的备份和恢复过程吧！首先要有俩台虚拟机，一台模仿服务器，另一台作为客户端，并且要在这俩台虚拟机上安装mysqld服务并启动服务1，远程操作数据库首先查看一些数据库grant命令是什么意思呢？grant的本意是给与的意思，这里使用*.*通配符将所有数据库的所有权限赋予zhangsan用户，并且任意...
2018-05-24 20:56:36
36528
1
原创 mysql数据库的搭建及其使用
1，打开centos虚拟机建立挂载点，修改yum源然后进行mysql及mysql-server服务的安装2，mysql数据库开启后使用mysql用户登录后即可进行操作,默认用户没有密码，用户可以根据实际需求来为用户设置密码设置完成后使用mysql用户进行登录成功登入，接下来让我们一起来体验一下对mysql数据库的一些简单操作过程吧查看当前系统拥有的所有数据库...
2018-05-19 09:05:13
28920
2
原创 linux中双方同步unison服务器搭建
1，安装unison服务之前需要一个底层的gcc环境因此首先我们先挂载光盘修改yum源然后安装底层环境gcc[root@localhost~]#mount /dev/sr0 /mnt/cdrom[root@localhost~]#cd /etc/yum .repos.d/[root@localhost yum.repos.d]#vim CentOS-Base.repo...
2018-05-10 15:17:23
863
原创 linux中RSYNC服务器的搭建
服务器端首先创建同步目录和用户 user1为上传用户，user2 为下载用户。[root@localhost~]#mkdir /var/ssh[root@localhost~]#cd /var/ssh[root@localhost ssh]#touch a.txt[root@localhost ssh]#useradd user1[root@localho...
2018-05-08 19:39:56
1251
原创 linux中shell编程之正则表达式
首先介绍一下grep命令grep:根据模式搜索文本并将符合模式的文本行显示出来 用法：grep 相关选项 需求模式 文件名 相关选项： -A n;列出符合条件的行并列出后续n行 -B n;列出符合条件的行并列出前面的n行 -i 不区分需求模式中字母的大小写 -v 显示匹配模式之外的行 ...
2018-05-07 20:29:19
331
原创 linux常用命令（二）
用户及权限管理相关命令： 文件的执行权限： r:可读权限表示可以使用cat等命令查看文件内容 w:可写权限表示可以编辑或删除文件 x:可执行权限表示可以当作命令提交给内核运行 目录的执行权限： r:对此目录执行ls操作列出所有内部文件 w:可以在此目录中创建文件...
2018-05-06 16:56:05
216
原创 linux中常用命令(一)
ls :用于显示目录/文件信息 相关选项： -l :长格式显示文件信息 文件类型： -：普通文件 d:目录文件 b:块设备文件 c:字符设备文件 l:符号链接文件 p:命令管道文件 s:套接字文件 -h :以特定单位显示文件 通常和-l选...
2018-05-05 20:15:12
215
原创 MySQL数据库简单语法剖析(一)
1，首先下载安装mysql数据库下载安装完毕后配置环境变量将mysql数据库的安装路径添加到环境变量中以便于用户在使用时系统能够快速的找到其相关文件进行迅速响应2，然后启动数据库在windows下连接数据库-P选项指定用户连接的端口号，-h指定主机地址 -u指定连接数据库名称 -p输入密码3，连接成功后查看系统中已经存在的数据库（1）查看系统中所有的数据库：...
2018-04-28 21:07:13
523
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人