2019年01月_wen-pan

原创 Linux进程管理及常用操作

目录一、进程的基本介绍二、显示系统执行的进程三、终止进程kill和killall四、服务管理1、介绍2、service管理指令3、服务的运行级别五、chkconfig指令介绍六、应用案例一、进程的基本介绍1.在linux中，每个执行的程序（代码）都称为一个进程。每一个进程都分配一个ID号。2.每一个进程，都会对应一个父进程，而这个父进程可以复制多个多...

2019-01-23 21:34:53 452

原创 Linux下磁盘情况查询

在Linux的使用中，我们会经常的查看我们的磁盘使用情况等，下面记录一些常用的磁盘情况查询操作！一、基本语法语法：df -h 或df -lh实例：查询系统磁盘的整体使用情况二、查询指定目录磁盘占用情况基本语法：du -h /指定目录说明：该命令是查询指定目录的磁盘占用情况，默认是查看当前目录 -s ：指定目录占用大小汇总 -h ：带计量单位 -a ：含文件...

2019-01-23 12:03:24 360

原创 linux系统新增一块SCSI硬盘并分区挂载到指定目录

目录一、linux分区介绍二、增加一块硬盘并进行分区和挂载三、详细操作步骤一、linux分区介绍1.原理介绍1）对于Linux来说无论有几个分区，分给哪一个目录使用，它归根结底就只有一个根目录，一个独立且唯一的文件结构，Linux中每个分区都是用来组成整个文件系统的一部分。2）Linux采用了一种叫“载入”的处理方法，它的整个文件系统中包括了一整套的文件和目录，且将一个...

2019-01-23 11:26:56 11482

原创 linux定时任务调度crontab

概述：任务调度：是指系统在某个时间执行特定的命令或程序。任务调度分类：系统工作：有些重要的工作必须周而复始的执行，如病毒扫描等个别用户工作：个别用户可能希望执行某些程序，比如对mysql数据库执行备份等。基本语法crontab [选项]常用选项：-e : 编辑crontab定时任务 -l : 查询列出定时任务 -r : 删除当前用户所有的crontab定...

2019-01-23 09:29:19 488

原创 Linux的七大运行级别及忘记root密码解决方案

目录一、运行级别介绍二、运行级别的切换三、找回root密码四、设置默认启动模式一、运行级别介绍Linux的设计者将linux设计了七个运行级别分别是：0：关机 1：单用户【丢失密码找回】 2：多用户状态没有网络服务（相当于Windows下的安全模式） 3：多用户有网络服务（一般适用于开发人员和维护人员） 4：系统未使用保留给用户 5：图形化界面（适用于普通用户...

2019-01-22 12:55:06 371

原创 VI/VIM 编辑器常用操作

目录VI/VIM编辑器常用操作介绍：1.VI和VIM是什么2.一般模式2.1常用语法3.编辑模式3.1常用语法4.指令模式4.1基本语法5.模式转换6.VI/VIM键盘图1.VI和VIM是什么VI 是 Unix 操作系统和类 Unix 操作系统中最通用的文本编辑器。 VIM 编辑器是从 VI 发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜...

2019-01-21 20:53:18 13210

原创大数据电信项目之Redis缓存

目录表设计介绍为什么使用Redispom.xml配置文件代码片段展示1.从mysql中查询到Telid和dateid,先保存到map集合中2.向redis中存储电话号码和电话号码的id（date和dateid一样）整体代码表设计介绍在本项目的MapReduce分析阶段之后的自定义outputformat阶段，将分析后的数据写入到MySQL中。在该项目的表设计中，...

2019-01-19 11:37:22 643

原创大数据电信项目之BaseDao、HbaseDao以及CalllogConsumer

在本项目中的消费模块（将kafka消费者消费的到数据写入到Hbase中进行保存），最为关键的三个类就是BaseDao、HbaseDao以及CalllogConsumer。简介：BaseDao:该类是一个抽象类，定义了操作Hbase的相关方法，比如在hbase中新建一张表，删除表，建表之前进行预分区，取得HBASE连接，取得Admin操作对象等相关方法。考虑到该类可能会被多个模块使用到，所以...

2019-01-19 10:57:57 565

协处理器使用介绍：在本项目中，如果向HBASE中插入一条主叫的通话日志，比如张三在2018年3月份跟李四通话了50秒，那么李四在2018年3月份同样也跟张三通话了50秒，在HBASE中同样也应该保存一条李四的通话记录，这里张三是主叫，李四是被叫。我们可以在consumer中插入主叫用户信息后紧接着再插入一条被叫用户的信息，但是这样插入的效率就会降低。所以我们这里使用到了协处理器。协处理器工作在...

2019-01-19 10:28:58 388

原创大数据之电信项目架构

目录一、通话日志来源二、 flume日志采集三、kafka消费数据四、HBASE保存数据五、MapReduce分析数据六、Redis缓存七、数据展示项目需求：统计分析用户每个月，每年的通话次数和通话总时长项目架构图如下：本项目是一个离线项目，主要是监控采集数据到hbase，然后将hbase上的数据进行分析处理，将处理后的结果存放到MySQL中，然后将分析...

2019-01-18 21:23:49 2757

原创大数据电信项目之分区键和rowkey的设计

项目大体流程：先由自己写好的生产者程序jar包不停的向call.log文件中生产通话日志，模拟用户通话使用flume监控日志文件call.log，将该日志文件作为flume的source源，通过channel和sink 使用kafka创建topic，flume监控得到的数据作为kafka的producer，然后将数据写入到指定的topic中启动一个消费者程序，将topic中的数据进行...

2019-01-18 20:46:48 700

原创 Hadoop集群及Linux操作脚本

以下是记录一些操作Linux及hadoop集群等的一些群体操作脚本，比如有启动 / 关闭hadoop集群脚本，启动 / 关闭zookeeper集群脚本，查看每台服务器上的java进程脚本，集群分发脚本等。将脚本编写完毕后需要配置到环境变量中，才可以在任何目录下进行使用！操作详细讲解：1.集群配置分发脚本:2） rsyncrsync远程同步工具，主要用于备份和镜像。具有速度快、...

2019-01-18 19:05:35 344

原创使用IDEA整合SSM框架开发

每一次重新搭建整合SSM开发环境都花费大量的时间，特此记录，以免遗忘！一、搭建基础环境1.创建一个maven项目或模块2.给项目或模块取一个名字3.点击next4.点击完成，等待项目创建完成5.项目或模块创建成功后，项目结构如下①.再main下新建两个文件夹（java和resources）,然后将这两个文件夹设置为对应的目录，如下：②.将we...

2019-01-18 18:44:02 578

原创关于hadoop拒绝history通过19888端口连接查看已完成的job的日志解决方案

当跑完MapReduce程序后，点击Tracking UI 下的History查看日志时报错拒绝连接使用jps命令检查自己的JobHistoryServer服务是否开启检查mapred-site.xml文件里的配置，修改完成后分发到集群中的每台机器上（单机版就不用分发了）：<configuration> <!-- 表示提交到hadoop中的任务采用y...

2019-01-11 15:02:37 3679

wenpan的博客