- 博客(33)
- 收藏
- 关注
RSS订阅原创 【CHATGPT】利用该chatgpt使用可视化界面配置查询语句
好的，我将为你设计一个图形化的界面配置数据查询的功能，使用建造者设计模式来逐步构建查询参数，并最终生成可执行的SQL语句。由于实现一个完整的图形化界面是复杂的，我将为你提供一个简化的示例，重点在于演示建造者设计模式如何构建查询参数和生成SQL语句。在这个简化的示例中，我们假设用户可以在图形化界面中选择查询的字段、为字段取别名、设置表之间的关联关系、选择分组字段和排序字段。然后，我们将使用建造者设计模式来构建这些查询参数，并生成SQL语句。
2023-07-19 01:28:03
194
原创 metadata-complete 造成servlet无法通过注解访问
晚上在练习代码的时候,发现无法通过注解去访问到servlet文件, 找了很久才知道是因为 web.xml里面的metadata-complete 属性设置成了true.metadata-complete 属性如果为true , 那么部署项目的时候 ,访问的路径就只能依赖于 xml文件的方式 ,而不能通过注解进行访问到. 特此记录...
2020-07-31 21:25:52
425
原创 win10 镜像文件资源
百度网盘地址：https://pan.baidu.com/s/1zh2nJY3ivDwut5P2Js0L4w提取码：hdf4侵删~~
2020-07-28 16:07:16
9070
3
原创 随机生成验证码代码
这个代码是部署在tomcat服务器中去运行的，最后生成的效果图比较简陋，图片如下；个人理解如下 1，首先要创建一个内存的图像和一个Graphics对象，就像是准备一块画板和一支笔， 2，设定这个画板的宽高 3，依次设计图像的边框颜色（蓝色）和填充的矩形颜色（灰色） 4，中间的白色线条是根据随机生成的两个点的坐标然后drawLine() 5，最后生成4个数字的随机验证
2020-07-20 18:56:59
891
原创 Tomcat响应文件下载案例
今天用到了浏览器访问服务器的时候将服务器端文件下载浏览器的应用，个人感觉还是很重要的，特此记录，错误地方请指正。大致步骤如下：1， 获取到文件的绝对路径，（可以用ServletContext（）去获取）再用流关联到本地文件2，通过设置响应头值的告知浏览器以下载的方式打开3，循环读取下载步骤大概就这三个，其中有两个点需要注意一下，第一就是获取到文件的绝对路径，这是要获取到在tomcat上面已经部署完毕的项目的文件路径。第二个就是告知浏览器用下载的方式去打开，本次用到的就是对两个请求头的修改：r
2020-07-20 18:15:02
215
原创 UDP协议学习:利用UDP协议传输文件
本文为记录学习过程所用,如果错误,请指正.下面的概念引自百度百科,博主有好好阅读过,认为还是比较全面的.UDP是User Datagram Protocol的简称， 中文名是用户数据报协议，是OSI（Open System Interconnection，开放式系统互联） 参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务，IETF RFC 768 [1] 是UDP的正式规范。UDP在IP报文的协议号是17。UDP协议与TCP协议一样用于处理数据包，在OSI模型中，两者都位于传
2020-07-13 11:46:32
2953
原创 初始HTML,新闻案例
我是学java开发,但是HTML等前端只是也是必须要了解,今天就开始学习HTML,学完一天下来感觉对网页的布局和块的划分更加清楚了,网页在我面前从以前的高大上和神秘也开始慢慢变得清晰了起来,记录一下今天写的一个很简单的新闻页面 代码结构真的很简单,主要就是调整一下位置,然后修改一下格式,其他就没有了.效果图也贴在下面了. -----------未来还很长,大家一起加油!<!DOCTYPE html><html lang="嗯"><head>.
2020-07-12 18:45:59
1028
原创 【学习课件】（私密）大数据概论、安装hadoop
大数据技术之Hadoop（入门）一 大数据概论预科内容二 从Hadoop框架讨论大数据生态名字起源该项目的创建者，Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的项目起源Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到...
2020-06-17 14:24:20
141
原创 【学习课件】（私密）NameNode & DataNode工作机制&扩展集群节点
5.6 集群安全模式操作1）概述Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。系统中的数据块...
2020-06-17 14:23:56
433
原创 【学习课件】（私密）通过API&IO操作HDFS
3.2 通过API操作HDFS3.2.1 HDFS获取文件系统1）详细代码/*** 打印本地hadoop地址值* IO的方式写代码*/@Testpublic void intiHDFS() throws IOException {//F2 可以快速的定位错误// alt + enter自动找错误//1.创建配信信息对象 ctrl + alt + v 后推前 ctrl + ...
2020-06-17 14:23:45
152
原创 【学习课件】（私密）HDFS基础操作&idea环境准备
一 HDFS概念1.1 概念HDFS，它是一个文件系统，全称：Hadoop Distributed File System，用于存储文件通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。1.2 组成1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。2）NameNode负责管理整个文件系统的...
2020-06-17 14:23:36
147
原创 【学习课件】（私密）初识大数据
第一天初识大数据课前准备，什么是大数据大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产1Byte = 8 bit、1K=1024KByte、1MB = 1024K、1G = 1024MB1T = 1024G、1PB = 1024TB大...
2020-06-17 14:23:23
337
原创 【学习笔记】（图片）MapReduce框架原理
MapReduce大致运行流程MapReduce大致运行流程之MapperMapReduce大致运行流程之reducer
2020-06-17 14:22:54
94
原创 【学习课件】（私密）MapReduce核心思想&hadoop序列化
一 MapReduce入门1.1 MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.2 MapReduce优缺点1.2.1 优点1）MapReduce 易于编程。它...
2020-06-17 14:21:45
138
原创 【学习课件利用MapReduce进行日志清洗案例
7.7.1 简单解析版1）需求：去除日志中按照空格切分，字段长度小于等于11的日志属于不符合日志。2）输入数据3）实现代码：（1）编写LogMapperpackage com.itstar.mapreduce.weblog;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org....
2020-06-17 14:21:32
257
转载 IDEA远程PUSH代码发现，Push to origin/master was rejected
在刚开始学习Git的时候 ，idea集成远程push代码的时候发现被rejected，查询了之后才知道时项目中有和历史不符的东西。解决方案：打开要上传的代码文件夹位置，打开git BASH Here，运行下面两行命令，亲测有效：git pull origin master –allow-unrelated-historiesgit push -u origin master -f我是从：https://blog.csdn.net/lylzdd/article/details/88676230 这
2020-06-11 20:19:28
155
原创 Java中String内存地址的问题（为什么String 的变量输出不是地址）
为什么String 的变量输出不是地址？因为所有的类继承Object类，所以单独输出一个对象的时候，他会调用Object.toString，打印出来的就是一串表达地址的字符串，最后调用的toString。然而我们的String类里重写了toString()，它返回的是String自己，String是什么呢，String其实就是字符数组（），它内部封装了一个字符数组，所以打印字符串就是打印字符数组，而不是地址关于Java中String内存地址的问题。在创建String类型的变量的时候建议使用直接赋值
2020-06-03 10:18:01
7928
9
原创 Java写学生管理系统案例
案例需求针对目前我们的所学内容，完成一个综合案例：学生管理系统！该系统主要功能如下：添加学生：通过键盘录入学生信息，添加到集合中删除学生：通过键盘录入要删除学生的学号，将该学生对象从集合中删除修改学生：通过键盘录入要修改学生的学号，将该学生对象其他信息进行修改查看学生：将集合中的学生对象信息进行展示退出系统：结束程序思路：程序开始，控制面板上面出现“欢迎来到学生管理系统，请输入您想要进行的操作”1、创建学生类，对学生类进行封装，写有参和无参的构造方法，调get和set对类属性进
2020-06-02 11:58:36
809
原创 【学习课件】（私密）hdfs 数据流以及工作机制
四 HDFS的数据流4.1 HDFS写数据流程4.1.1 剖析文件写入1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端请求dn1上传数据，...
2020-06-02 11:53:59
115
原创 【学习课件】（私密）MapReduce工作流程&InputFormat数据输入
三 MapReduce框架原理3.1 MapReduce工作流程1）流程示意图2）流程详解上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第15步结束，具体shuffle过程详解，如下：1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件3）多个溢出文件会被合并成大...
2020-06-02 11:53:34
171
原创 使用Java代码生成六个不重复的随机数字。
使用Java代码生成六个不重复的随机数字。import java.util.Random;public class tt5 { public static void main(String[] args) { int[] arr = getArray(); for (int i = 0; i < arr.length; i++) { System.out.print(arr[i] + " "); } }
2020-06-02 11:51:26
2986
原创 【MapReduce运行报错】Type mismatch inkey form map:excepted org.apache.hadoop.io.Text,recived MR.wordcount.
出现这个问题是因为我的map的数据类型和job里面设置的不同，不是同一种数据类型在运行代码的时候会报错
2019-09-21 22:51:58
210
原创 【学习笔记】MapReduce统计手机号耗费的总上行流量、下行流量、总流量（序列化）简单版
思路：Map阶段：（1）读取一行数据，切分字段（2）抽取手机号、上行流量、下行流量（3）以手机号为key，bean对象为value输出，即context.write(手机号,bean);Reduce阶段：（1）累加上行流量和下行流量得到总流量。（2）实现自定义的bean来封装流量信息，并将bean作为map输出的key来传输（3）MR程序在处理数据的过程中会对数据排序(map输出的...
2019-09-19 17:37:15
612
原创 【学习笔记】Java两种简单方法随机生成电话号码
两种方法都很简单本质上没有什么区别，第二种方法就是代码量少点，三大运营商的电话号码前三位都是固定的，剩余的八位都是随机。最终生成出来的号码都是三大运营商可用的号码，下一篇文章是从数据文件里面提取处理每个用户在网站上面的上传、下载、和总流量的数据。1、import java.io.File;import java.io.FileOutputStream;import java.io.IOEx...
2019-09-19 16:32:17
2669
原创 org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.io.LongWritable -MapReduce数据类型不一致运行错误
MapReduce运行出现如下问题是因为数据类型不一致，需要将数据类型换成一致。将mapper里面的数据类型换成text，就可以了
2019-09-18 15:05:21
6523
原创 【hadoop学习记录】MapReduce小文件优化
默认情况下TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个maptask，这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。优化策略（1）最好的办法，在数据处理系统的最前端（预处理/采集），将小文件先合并成大文件，再上传到HDFS做后续分析。（2）补救措施：如果已经是大量小文件在HDFS中了，可以使用另一种I...
2019-09-17 18:33:57
122
原创 【hadoop学习之路】更改MapReduce分区规则
<行业新人，发博客是为了记录自己学习的路程，如有错误地方还请前辈们指正> 在运用hadoop进行数据处理的时候，默认是按128M的block或文件个数来进行分区，用户也可以根据自己需求来定义分区规则，下面的代码就是以单词长度的奇偶数来确定进行分区。继承Partitioner方法并进行重写，从中获取单词的长度并进行区分 import org.apache.hadoop.io.I...
2019-09-17 17:32:34
250
原创 【Daily Blog】使用MapReduce对数据进行简单的统计
第一次使用MapReduce进行数据处理，简单的进行记录（行业新人，如以下描述有错误部分，还望前辈指正，为谢！）MapReduce分为Map 和Reduce 两块，Map主要是对数据进行切分排序，reduce进行累加计数如下为代码块：Mapper部分：分别获取每行数据，并对其按照用户要求进行拆分（下面代码是以空格进行拆分）进行拆分，通过遍历获取到每个每个拆分的数据对象，以key value...
2019-09-17 14:08:48
1347
原创 【Daily Blog】linux 在启动集群时卡住
我在集群中 加入一个新的节点之后，启动集群发现会出现如下卡住的情况检查了hosts文件和slaves文件配置都是没问题的，经过多次试验，有个小疏忽被我遗漏了，系统给出了是否需要继续连接，需要在下面输入yes,再按enter集群就启动成功了。实在是一个不应该出现在blog里面的问题，发帖是为了提醒自己更加细心。...
2019-09-16 10:13:55
313
1
原创 Linux 集群的主节点里面不能用sz下载文件，其他节点可以用
如题，在主节点内使用sz出现这种报错，使用yum -y install lrzsz 代码下载sz功能安装包时，出现如下报错请问各位大神哥哥们这问题该如何解决。如下图片是该集群的其他节点能用sz下载文件：...
2019-09-09 12:14:36
331
原创 Hadoop启动集群后有个机器没有datanode，请各路大神帮忙看下，谢谢
Hadoop启动集群后有个机器没有datanode，请各路大神帮忙看下，谢谢新手一枚，前几天搭建好的集群用了几天都好好地，结果今早上起来的时候发现有一个机器datanode没有了，请问该怎么处理。集群有三个机器，hosts，slaves文件都是已经配置好的，有没有方法能够在不格式化的情况下搞定啊？...
2019-09-07 09:31:25
617
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人