自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(84)
  • 资源 (6)

原创 AQS源码解读

AQSpublic abstract class AbstractQueuedSynchronizer extends AbstractOwnableSynchronizer implements java.io.Serializable { private static final long serialVersionUID = 7373984972572414691L; /** * Creates a new {@code AbstractQ

2020-10-21 18:55:08 7

原创 pycharm如何在运行时打开控制台

pycharm如何在运行时打开控制台解决方案:

2019-09-25 20:06:22 1823

原创 python实现选课系统/学生信息管理系统

1.需求管理员:添加教师:一个教师作为一个班级的班主任,同时也作为一个或多个课程的代课老师添加课程:指定课程名,学分,任课老师。添加班级:指定班级名称,班主任老师:添加学生:作为一个班级的班主任,该老师为其班级添加学生添加课程:作为一个班级的班主任,该老师为其班级添加课程给出成绩:作为一门课程的任课老师,该老师给出他所带课程的学生成绩查看学生成绩:作为一门课程的任课老师,查看学生...

2019-09-25 16:16:03 2722

原创 Flume监听

1. Flume监听命令的执行结果配置agent############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# c1是a1的channel的代号名字# k1是a1的sink的代号名字#########################################...

2019-09-18 11:36:21 178

原创 Flume采集网络端口数据

1. Flume采集网络端口数据1.1 定义flume的事件配置文件flume-nc.properties# flume-nc.conf: 用于监听网络数据的flume agent实例的配置文件############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# c1是...

2019-09-18 11:35:18 207

原创 Flume安装

1. Flume简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统支持在日志系统中定制各类数据发送方,用于收集数据Flume提供对数据进行简单处理,并写到各种数据接收方2. Flume OG 与Flume NGFlume OG:Flume original generation,即Flume0.9x版本Flume NG:Flume next generati...

2019-09-18 11:33:42 43

原创 Sqoop的基本操作

1.Sqoop的基本操作列出数据库sqoop-list-databases --connect jdbc:mysql://mini05:3306/ --username root --password root列出所有的表sqoop-list-tables --connect jdbc:mysql://mini05:3306/up1 --username root --passw...

2019-09-18 11:31:21 186

原创 Sqoop与安装

1. Sqoop简介Apache Sqoop是一种专门为hadoop和比如关系型数据库等结构化数据库之间的高效数据转换一种工具。数据的搬运工Sqoop在大多数自动化数据转换的过程中,依托于数据库相关的Schema描述信息,转换的过程是使用MapReduce来进行的Sqoop目前有两个版本,完全不兼容,Sqoop和Sqoop2.可以通过版本号来进行简单的区分,1.4.x为sqoop或sqo...

2019-09-18 11:30:42 54

原创 Hbase的region操作

1. Hbase中的手动切分regionsplit 'ns1:t1','row040'2. Hbase手动移动regionmove 'f6e6164514db53d660c5414df1f3864e','mini05,16020,1539222350164'3. Hbase中row-key的设计行健的热点问题是由于行健相似、连续且数据量过大操作成单region的数据量过大,进...

2019-09-18 11:28:35 62

原创 Hbase操作

1. Hbase的Shell操作列出所有的命名空间(相当于mysql中的show databases)list_namespace列出指定命名空间下的所有表list_namespace_tables ‘ns_name’创建命名空间create_namespace ‘ns1’创建表create ‘ns1:t1’,‘f1’禁用表,因为删除表之前首...

2019-09-18 11:27:45 52

原创 Hbase的体系结构

1. Hbase的体系结构(模型)1.1 逻辑结构(模型)表(table)划分数据集合的概念,和传统的db中的表的概念是一样的行键(rowKey)对应关系数据库中的主键,作用就是唯一标示一行记录获取hbase中的一个记录(数据),要通过行键来获取行键是字节数组, 任何字符串都可以作为行键表中的行根据行键(row key)进行排序 ,数据按照Row key的字节序(by...

2019-09-18 11:26:11 122

原创 Hbase简介与安装

1. Hbase简介Hadoop-Database根据’bigtable’论文实现的分布式 可扩展的大数据存储技术随机访问 实时读写海量数据存储数 '十亿行 百万列’的数据高可靠性、高性能、面向列、可伸缩的分布式存储系统hbase的底层存储基于hdfs利用Zookeeper作为协调工具2. Hbase是什么?分布式开源数据库,基于hadoop分布式文件系统(HDFS)...

2019-09-18 11:24:08 194

原创 Hive分区表,桶表,外部表

1. hive中的表的分类1.1 内部表(管理表)create table t3(name string,.....);就是说数据的生命周期受表的控制,当表删除的时候,其数据文件一并被删除*2.2 外部表create ==external== table t4(name string,....);就是说数据的生命周期不受表的控制,当表删除的时候,其数据文件并不会删除1....

2019-07-12 10:05:30 47

原创 Hive基本操作

1. Hive中执行linux中的命令!linux命令;2. Hive中执行hdfs的操作dfs -ls /;3. Hive的模式本地模式开发阶段建议使用本地模式set hive.exec.mode.local.auto=true;集群模式(默认)生产环境建议使用集群模式4. Hive的访问cli(命令行)webui(很少用)api5....

2019-07-12 10:04:14 169

原创 Hive安装

1. Hive的简介Hive是建立在hdfs上的数据仓库披着mapreduce外衣的工具(查询引擎)允许不熟悉mapreduce开发的人员可以借助hive来分析存储在hdfs中的海量数据hadoop的客户端工具,不一定非得部署在集群中创建表时,指定Hive数据的列分隔符与行分隔符,Hive即可解析数据2. Hive到底是什么?查询引擎 :把hql(类sql语句)转换成mr作业在...

2019-07-12 10:03:26 50

原创 centeros安装mysql5.6

centeros安装mysql5.6卸载自带mysql的库文件yum -y remove mysql-libs.x86_64下载mysql5.6的镜像wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm安装镜像rpm -ivh mysql-community-release-el6-5.n...

2019-07-12 10:01:50 81

原创 mapreduce的多输入的问题

mapreduce的多输入的问题CountForSeqMapper.javapublic class CountForSeqMapper extends Mapper<Text,IntWritable,Text,IntWritable>{ @Override protected void map(Text key, IntWritable value, Cont...

2019-07-12 10:01:12 235

原创 MapReduce实现,打包,远程调试

1. MapReduce的编写1.1 pom依赖<properties> <!--hadoop的版本--> <hadoop.version>2.6.4</hadoop.version></properties><dependencies> <!-- hadoop的公共组件-->...

2019-07-12 10:00:15 136

原创 mapreduce简介与实现

1. MapReduce简介MapReduce是一种分布式计算模型由Google提出,主要用于搜索领域,解决海量数据的计算问题MapReduce在处理多于10PB数据时趋向于变慢Mapreduce是依赖网络IO和磁盘IO的2. MapReduce模型计算海量的数据,能在一个机器计算吗?不能移动计算不移动数据mapreduce的阶段map阶段reduce阶段...

2019-07-12 09:56:36 102

原创 hdfs读写文件的流程

1. hdfs写文件的流程上传数据时datanode的选择策略第一个副本考虑与client最近的(同机架)第二个副本考虑跨机架的datanode,增加副本可靠性第三个副本在第一个副本机架上选择一台datanode存放上传流程客户端上传文件大小为300m,这个文件将被分成三个block上传客户端请求namenode上传文件,namanode在元数据检验后,满足上传上传条件向客户端...

2019-05-09 21:07:27 81

原创 HA高可用集群搭建

普通的hadoop集群namenode(nn)secondarynamenode(2nn)datanode(dn)普通的hadoop集群存在的问题datanode存在单点故障问题吗?不存在,因为datanode有多个机器,而且有副本机制作为保障namenode存在单点故障问题吗?存在,因为2nn不能代替nn,2nn的作用只是融合fsimage和edits文件,所以nn...

2019-05-09 21:05:57 132

原创 ZooKeeper

1. ZooKeeper开源的分布式的协调服务,是Google的Chubby一个开源的实现,它是一个为分布式应用提供一致性服务的软件2. ZooKeeper提供的功能配置维护域名服务分布式锁组服务3. ZooKeeper的特点简单ZooKeeper的核心是一个精简的文件系统 ,它支持一些简单的操作和一些抽象操作丰富ZooKeeper的操作是很丰富的,可实现一...

2019-05-09 21:04:31 2791 6

原创 hdfs基本操作

1. hdfs的操作(图形界面)1.1 hdfs的启动流程进入安全模式加载fsimage加载edits保存检查点(融合fsimage和edits文件,生成新的fsimage)退出安全模式1.2 通过浏览器访问http://namenode:500702. hdfs的操作(shell操作)hdfs dfshadoop fshdfs dfs -put text01.tx...

2019-05-09 20:59:54 111

原创 递归的简单应用

题目一一个人赶着鸭子去每个村庄卖,每经过一个村子卖去所赶鸭子的一半又一只。这样他经过了七个村子后还剩两只鸭子,问他出发时共赶多少只鸭子?经过每个村子卖出多少只鸭子?解题思路:因为是每经过一个村庄会卖掉一本又一只,经过第七个村庄后还剩两只,按照要求,如果还经过一个村庄也就是第八个村庄后,鸭子数量就会为0,本题目解题使用一个count临时变量来统计所经过的村庄的数目。使用递归的解法,当鸭子数目不为...

2018-11-17 20:23:57 121

原创 JAVA版CORBA程序

JAVA版CORBA程序1——HelloWorld程序目录结构如下1. 编写IDL接口HelloWorld.idlmodule sample{interface HelloWorld{ string sayHello(); }; };2编译IDL接口:idlj –fall HelloWorld.idl编译结果生成sample包,生成下述文件_HelloWorldSt...

2018-11-03 00:29:38 200

原创 java实现kfc点餐系统

1.基本需求1.正常餐品结算和找零。2.基本套餐结算和找零。3.使用优惠劵购买餐品结算和找零。4.可在一定时间段参与店内活动(自行设计或参考官网信息)。5.模拟打印小票的功能(写到文件中)。6.html.jsp实现可视化界面。7.实现会员储值卡功能,完成储值卡消费。8.实现当天营业额和餐品销量计算和统计,用数据库记录。Echars实现数据可视化2.设计模式单点食物:采用简...

2018-10-27 11:54:22 2225 3

原创 SSM实现RPG游戏之角色生成器

功能描述几乎所有的RPG游戏(一种源自《龙与地下城》的游戏类型)在进入游戏时都会让用户自己来创建自己喜欢的角色游戏角色应有的属性游戏角色应有以下属性:名字、性别、种族、职业、力量、敏捷、体力、智力、智慧、生命值、魔法值和技能。名字:不超过50个字符。性别:可以选择男性和女性。种族:一共可选五个种族,人类、精灵、兽人、矮人和元素。职业:可选六种职业,狂战士、圣骑士、刺客、猎手、祭司和...

2018-10-01 12:27:28 467

原创 java实现24点游戏

游戏规则从扑克中每次取出4张牌。使用加减乘除,第一个能得出24者为赢。(其中,J代表11,Q代表12,K代表13,A代表1),按照要求编程解决24点游戏。基本要求随机生成4个代表扑克牌牌面的数字字母,程序自动列出所有可能算出24的表达式列出表达式无重复用户初始生命值为一给定值(比如3),初始分数为0。随机生成4个代表扑克牌牌面的数字或字母,由用户输入包含这4个数字或字母的运算表达式(可...

2018-09-30 14:39:09 5677 1

原创 单词频率统计

功能需求导入任意英文文本文件统计各单词出现的频率,并按照字典序输出将单词频率写入数据库实现GUI页面实现思路读文件使用BufferedReader可以读取一行,使用StringBuilder的append()将读入的字符串追加。频率统计将英文字符串使用spilt()按空格分割,使用带自然排序的TreeMap进行存储,key存单词,value存频率。存入数据库使...

2018-09-21 15:39:50 1192

原创 最大公约数与最小公倍数的实现方式

最大公约数的三种实现方式方式一:列举法主要思路: 设置一个变量i使i的初始值为两个数较小的那一个,判断这两个数能否被i整除,能整除则返回最大公约数i,不能整除i让i–,再次进行判断,最终如果i=1,则两个数互质,流程图如图一所示。方式二:相减法主要思路: 输入的两个数当num1与num2不相等时,如果num1> num2,则num1=num1-num2,否则nu...

2018-09-07 19:25:57 196

原创 c++实现文件实现学生信息管理系统

c++实现文件实现学生信息管理系统功能如下:添加学生信息(学生添加完成将直接保存进文件) 成绩信息(c语言,大学英语,高等数学)个人信息(姓名、性别、学号、年龄)显示学生信息 查询学生信息 按学号查询按名字查询按学号删除学生信息修改学生信息 按学号对学生进行排序类的设计:表示成绩的Score类:class Score{public: float...

2018-09-06 21:43:51 31854 14

原创 对象的序列化

对象的序列化(对象流) 将对象以字节方式序列化,存储到硬盘,或者进行网络中传输。进行对象的硬盘存储: 1. 使得被存储的对象,必须要实现序列化的接口! 2. 实现序列化接口得类,生成序列化版本号,如未生成,修改类代码结构后,产生:InvalidClassException 3. 读取文件中的序列化对象,以EOFException异常的发生表示读取文件末尾...

2018-09-03 19:23:42 46

原创 maven更换中央仓库

更换中央仓库<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/con

2018-09-03 19:19:59 460

原创 三天打鱼两天晒网

问题描述中国有句俗语叫“三天打鱼两天晒网”。某人从2010年1月1日起开始“三天打鱼两天晒网”,问这个人在以后的某一天中是“打鱼”还是“晒网”。解题思路存储日期到in.txt文件:采用BufferOutPutStream字节缓冲流对FileOutPutStrean进行了包装以便提高效率、保护磁盘。从in.txt文件读取日期:采用BufferReader对FileReader进行包装...

2018-08-30 20:38:15 357

原创 maven的依赖范围

Maven的依赖范围 "" 编译 测试 运行(打包)compile true true true 例如(c3p0) test true ...

2018-08-29 23:04:20 136

原创 maven修改jdk版本

<profiles> <profile> <id>development-jdk-1.8</id> <activation> <jdk>1.8</jdk> <activeByDefault>true&

2018-08-29 23:03:10 59

原创 MD5加密

try { MessageDigest messageDigest = MessageDigest.getInstance("md5"); byte[] bytes = messageDigest.digest(str.getBytes("utf-8")); BigInteger bigInteger = new BigInteger(1, byte...

2018-08-29 23:01:35 81

原创 请求转发、请求重定向与页面跳转问题

页面转发与重定向请求转发:- 1.服务器内部进行的转发- 2.一次请求- 3.地址栏不会发生变化 //获取请求转发器RequestDispatcher dispatcher = req.getRequestDispatcher("/myservlet04.do");//请求转发dispatcher.forward(req, resp);页...

2018-08-29 22:59:12 7881

原创 Cookies应用之上一次访问时间

import javax.servlet.ServletException;import javax.servlet.http.Cookie;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpServletResp...

2018-08-29 22:58:04 65

原创 乱码问题

乱码问题上传文件乱码upload.setHeaderEncoding("utf8");响应乱码resp.setHeader("Content-Type","application/json;charset=utf-8");resp.setContentType("text/html;charset=UTF-8");请求乱码req.setCharac...

2018-08-29 22:57:11 60

编译课设-词法分析,语法分析.zip

编译原理课程设计,包含源代码,词法分析,语法分析,LR0,LLI

2019-07-12

SPM-软件项目管理.zip

软件项目管理课程设计,包含源代码(jsp编写WEB项目)以及报告(项目集成计划书)

2019-07-12

课程设计飞机大战

课程设计飞机大战,包括程序源码,以及软件工程文档(需求分析、系统设计、测试。。。)

2019-02-01

程序设计方法学课程设计---RPG游戏

课程设计实验,包含代码实现、软件建模相关图示(用例图、类图、顺序图...)、答辩ppt、运行结果截图、数据库脚本、最终报告

2019-02-01

java的分布式爬虫

maven构建,可实现分布式爬虫,Habse存储,多线程爬取,redis缓存

2019-02-01

用户画像源码、数据、说明文档

源码以及说明文档,其中包含数据以及实现文档,欢迎下载

2019-02-01

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除