ICanDoItHaHa-CSDN博客

原创 ntoskrnl.exe原因造成的蓝屏

组装电脑出现蓝屏下载bluescreenview蓝屏分析器后,分析出现时ntoskrnl.exe造成的错误

2021-06-29 00:25:25 7241 2

inner join和笛卡尔积inner join是先找on表示的符合条件的记录,符合的就连接,否则转下一条数据笛卡尔积是把两个表的记录组合起来,符合条件的就返回连接介绍内连接inner joininner join 相当于取交集, 两表都符合条件的数据才连接左外连接left joinleft join 是左表关联右表,左表符合条件右表不存在的数据一并连接,但是这些数据值为null;右外连接 right joinright join 是右表关联左表,右表符合条件左表不存在的数据一并连接,然

2021-01-28 21:57:18 1486

原创 SparkSql: 多数据集抽象类型对比分析及使用场景

多数据集抽象类型对比spark抽象数据集列表1.相同点2.区别点3.应用场景spark抽象数据集列表RDD 弹性分布式数据集DataFrame 与RDD相似，增加了数据结构scheme描述信息部分。比RDD更丰富的算子，更有利于提升执行效率、减少数据读取、执行计划优化。DataSets 集成了RDD强类型和DataFrames结构化的优点，新数据抽象类型,比RDD更丰富的算子，更有利于提升执行效率、减少数据读取、执行计划优化。1.相同点1.全都是spark平台下的分布式弹性数据集

2021-01-09 16:07:54 357

原创 SpringBoot项目获取mysql数据库热词生成网页柱状图

1.启动类@SpringBootApplication@ComponentScan(basePackages={"com.dsf"})public class ApplicationBootControler { public static void main(String[] args) { SpringApplication.run(ApplicationBootControler.class, args); }}2.获取数据类@Componentpublic class Wei

2020-12-26 14:38:36 266

原创 sql : MySql获取标签字段中标签里面的内容

Mysql获取标签字段中标签中内容LOCATE()方法使用SUBSTRING()方法获取内容LOCATE()方法使用LOCATE(">",“content”)方法第一个参数是第一次出现的字符,第二个参数是所查找的内容,第三个参数是从第几个字符开始查,结果是在这个字符串中的index下标.1.查询第一次出现>的下标select LOCATE(">","<a href='http://baidu.com' rel='nofollow'>我是一个中国人</a>"

2020-12-26 14:17:33 755 1

原创实时数据项目Kafka之本地模拟

实时数据项目Kafka之本地模拟1.大局准备在集群机器上创建两个文件夹2.数据获取3.数据传输4.数据传输1.大局准备在集群机器上创建两个文件夹一个RealTimeDataReceiver4Shell文件夹,一个RealTimeDW4Shell文件夹RealTimeDW4Shell负责:1.下载需要的数据文件, 2.把数据文件行读取进行编码传输到url接收器RealTimeDataReceiver4Shell负责:1.启动java类包,url接收器接收编码的数据然后转发给kafka,2.kafka

2020-12-24 21:40:33 694 2

原创学习:HBase 之 Shell操作

HBase常用操作操作分类系统操作DDL操作DML操作Namespace操作操作分类????进入hbase shell环境在集群入口执行:hbase shell系统操作 ???? status:查看hbase集群状态 ???? version:查看hbase的版本信息 ???? whoami:当前操作hbase的用户是哪个DDL操作???? 创建表表名为Student, 列族为base_info和advanced_infocreate “Student”,“base_info”

2020-12-24 11:49:17 166

原创 Spark Core 架构及相关术语

Spark架构设计1.架构设计图2.相关术语1.RDD (Resilient Distributed DataSet)弹性分布式数据集,是对数据集在spark存储和计算过程中的一种抽象是一组只读、可分区的分布式数据集合一个RDD包含多个分区Partition(类似于MapReduce中的InputSplit),分区是根据一定规则的,将具有相同规则的属性的数据记录放在一起横向可切分并行计算,以分区Partition为切分后的最小存储和计算单元纵向可进行内外存切换使用,即当内存不足时,可以用外

2020-12-23 21:00:48 106 1

原创 HBase的写流程和读流程

1、HBase写流程1.获取meta表的RootRegion位置信息在客户端写进程时,第一次写时,Client先通过Zookeeper获取到Meta表对应的region位置信息,然后加入到进程缓存中,后续再读写时,直接读取缓存的meta信息对应的region信息就行.2.找到数据要写在哪个region上根据获取到的RootRegion位置信息,请求region所在的region server服务,根据namespace(相当于数据库名),表名和rowkey在meta表中找到写入数据对应的region

2020-12-23 19:27:32 215

原创 HBase架构设计与核心概念对象

1、架构设计2、核心概念对象1.Client发起读写请求的角色首先hbase查询meta表,找到需要读或写的region区域信息,然后才能读写到这个区域然后向region对应的HRegionServer上发送读写请求. 每个region由以下信息标识：< 表名,startRowkey,创建时间>2.Zookeeper存储Hbase元数据负责HMaster的选择和主备切换负责对HRegionServer进行监控对RootRegion的管理,即对meta表所在数据存储的regi

2020-12-23 13:08:04 202 2

原创 Kafka应用之SparkStreaming集成

1.SparkStreaming继承Kafka实现方法1.基于Receiver方式实现逻辑先把数据从kafka中读取出来,然后缓存在内存,再定时处理具体流程在提交Spark Streaming任务后,Saprk集群会持续不断,异步读取Kafka的数据,读取时间间隔以及每次读取offsets范围可以由参数来配置读取的数据保存在Receiver中当driver出发batch任务的时候,Receivers中的数据会转移到剩余的Executors中去执行在执行完之后,Receivers会相应更新Zo

2020-12-22 19:42:09 132

原创 Kafka - 架构和 Shell操作案例

1.Kafka架构设计角色说明Producer负责生成消息,并把消息push到broker集群当中该角色因为通过zookeeper而知道应该push到broker集群的哪个或者哪几个broker中Broker负责接收Producer生产者push过来的消息,存储到所在的机器文件中Consumer Group每个Consumer属于一个特定的Consumer Group一条消息可以发送给多个不同的Consumer Group,不同的Group都可以消费统一条消息,但是一个Consumer

2020-12-21 20:53:03 192 2

原创 Kafka的相关知识

Kafka1.定义一种高吞吐量的分布式、支持分区、多副本的,基于zookeeper协调的消息系统2.特性稳定性高通过O(1)的磁盘数据结构提供消息的持久化,这种结构就算是TB以上级别的消息存储都能够保持长时间的稳定性能高吞吐量、低延迟普通的硬件Kafa也可以支持每秒数百万的消息延迟最低只有几毫秒高并发支持数千个客户端同时读写容错性好消息的负载均衡的存储与消费支持通过kafka服务器集群来分区存储、分布式消费消息的机制.良好支持hadoop并行计算支持Hadoo

2020-12-21 19:51:35 60

原创数据传输之将hive表推送到mysql表中

实现方法自行实现,不用sqoop等第三方数据传输插件自行实现步骤1.将hive表数据生成到文件weibo_hot_result.txt中hive表:weibo_seg_wcinsert overwrite directory "/user/dongshaofei/hot_words"row format delimited fields terminated by '\t'select * from (select *,dense_rank() over(order by freq desc)

2020-12-11 11:59:47 778

原创 Shell脚本之编写一个简单的创建表脚本

创建一个create_table.sh文件脚本代码#!/bin/bash#数据库名db_name=dongshaofei#表名tb_name=new_table#注意partitioned by 是分区字段代表这是个分区表不需要分区可以去掉#hqlhive -e "use $db_nameCREATE TABLE $tb_name(mid string,retweeted_status_mid string,uid string,retweeted_uid string

2020-12-11 10:07:31 1703

原创 MapReduce进阶

WritableComparable是继承的排序类 ,只需要单独写一个类继承WritableComparable,在这个继承类中定义一个私有的private int number;覆写compareTo方法设置自定义排序,需要在需要用到这个自定义类的map和reduce的输入输出中按逻辑设置即可WritableComparator是继承的分组类,需要单独写一个类继承WritableComparator类,然后覆写compare方法,两个参数是决定比较所有key的分组条件,分好组后一个组的key都会设

2020-11-20 21:24:19 65

原创 MyBatis设置JDBC和Sql的xml跟数据库交互流程

1 导包mybatis-3.3.0.jarmysql-connector-java-5.1.38-bin.jarlog4j-1.2.17.jar2 mybatis-config.xml配置文件和 log4j.properties3 jdbc.properties配置文件4 实体类和数据库5 数据库对应的sql操作,User.xml6 在mybatis-config.xml中进行mapper文件映射<mappers> <mapper resource="com/myb

2020-10-19 20:05:52 158

原创 XML解析小结

注意 xml里现在所有的标签跟属性都是自己定义的,到后面的xml解析才会用到,解析前一切都是自己定义例如class: 就是需要创建对象的类全名id:就等于是保存这个对象的变量,最终我们会把实例化的所有对象放到map中对象就是value,id值就是key,我们就可以通过这个map的key(id ) 得到对应的value<beans><bean id="userDao" class="dsf.dao.impl.UserDao"></bean> 这句话相当于

2020-10-19 20:04:09 101

原创 TomCat注意点

易错点:tomcat 注意运行Run on sever 后会在tomacat地址中的webapps里的WEBTest保存一个对应的html文件, 如果又新添加了新的html在这个工作区中,再次运行,有可能不会把这个文件存到webapps的WEBTest中,会造成运行Run on server时还是找到的之前的html解决办法1是在servers中使用clean清除缓存 ,或者在eclipse的导航栏中的Project中进行clean清理缓存,然后再重新Run on server2.是把需要添加

2020-10-19 20:01:00 171

原创 SpringAOP

一个类继承另一个类然后实例化子类用子类覆写的方法调用super(),然后在super() 前后写开始和结束的功能1 占用继承有实现不了的情况2 比如有的类是final怎么办?代理:更改UserDao 在功能执行前后添加新的功能1 改源码2 继承3 静态代理静态代理:代理对象和被代理对象要实现同一个接口需要保存被代理对象实现相同的方法,然后在代理对象中,调用被代理的方法在这个基础之上可以进行扩展静态代理的问题:如果接口中添加了新功能(方法),代理对象和被代理对象都需要维护

2020-10-19 19:59:05 75

原创反射机制的简单代码

获取运行时类的三种方式1.Class c1= class.forName(“类全名”)2.通过对象 d= 对象.class Class c2=integer.class3.通过getClass()方法 Class c3= new Integer(11).getClass()通过反射创建堆内存对象例如Date date=new Date();//想创建谁的对象就在forName("")方法中写谁的类全名Class c1=Class.forName(“java.util.Date”);//

2020-10-19 19:57:07 197

原创 Spring知识点总结

软件设计六大原则高内聚,低耦合DI: Dependency Injection 依赖注入IOC: Inversion of Control 控制反转Spring的beans.xml文件引入约束,解析XML的规定<beans>标签的 xmlns xmlns:xsi xsi:schemaLocation属性规定:id和name都是用来表示给创建的对象取的名字id是之前版本的写法,不可以使用特殊符号name 可以使用一些特殊符号,所以现在基本都要name<bean na

2020-10-19 19:55:32 79

原创 MVC请求流程

MVC请求流程1. 在web.xml中配置映射<servlet>  <servlet-name>basic</servlet-name>  <servlet-class>org.springframework.web.servlet.Dispatche

2020-10-19 19:53:02 319

原创 MyBatis的SqlSessionFactory创建配置文件

SqlSessionFactory创建配置文件1、SqlSessionFactory简介SqlSessionFactory是MyBatis中的一个重要的对象，它是用来创建SqlSession对象的，而SqlSession用来操作数据库的。2、SqlSessionFactory生成SqlSessionFactory对象可以通过SqlSessionFactoryBuilder来获得，而SqlSessionFactoryBuildr则可以从XML配置文件或预先定制的Configuration实例构建出Sq

2020-09-28 11:50:30 1030

原创 MyBatis初识,配置文件流程和简单实现

实现过程1 导包mybatis-3.3.0.jarmysql-connector-java-5.1.38-bin.jarlog4j-1.2.17.jar2 mybatis-config.xml配置文件和 log4j.properties3 jdbc.properties配置文件4 实体类和数据库5 数据库对应的sql操作,User.xml6 在mybatis-config.xml中进行mapper文件映射 <mappers> <mapper resource="

2020-09-28 11:47:30 83

原创 JS函数与对象

1. 函数其它函数的命名1.由字母、数字、下划线、符号组成，不能以数字开头2.不能是关键字和保留字，例如：for,while,this,name3.区分大小写规范：1.变量名必须有意义2.遵守驼峰命名法3.建议不要用符号组成，不能以数字开头2.不能是关键字和保留字，例如：for,while,this, name3.区分大小写规范：1.变量名必须有意义2.遵守驼峰命名法3.建议不要用符号组成，不能以数字开头2.不能是关键字和保留字，例如：for,while,this,name3.区分大小写规范

2020-08-18 21:08:52 118

原创 JS数组、函数等基础知识内容

1. 数组数组的概念所谓数组，就是将多个元素（通常是同一类型）按一定顺序排列放到一个集合中，那么这个集合我们就称之为数组。数组的定义数组是一个有序的列表，可以在数组中存放任意的数据，并且数组的长度可以动态的调整。通过数组字面量创建数组// 创建一个空数组var arr1 = [];// 创建一个包含3个数值的数组，多个数组项以逗号隔开var arr2 = [1, 3, 4];// 创建一个包含2个字符串的数组var arr3 = [‘a’, ‘c’];// 可以通过数组的length

2020-08-18 21:01:25 254

原创 JS流程控制

1.流程控制介绍程序的三种基本结构顺序结构从上到下执行的代码就是顺序结构(程序默认就是由上到下顺序执行的)分支结构根据不同的情况，执行对应代码循环结构循环结构：重复做一件事情2.分支结构if语句语法格式:if (/* 条件表达式 */) {// 执行语句}if (/* 条件表达式 */){// 成立执行语句} else {// 否则执行语句}if (/* 条件1 /){// 成立执行语句} else if (/ 条件2 /){// 成立执行语句} else if

2020-08-18 20:57:58 146

原创 JS出识

JavaScript介绍JavaScript是什么历史Netscape在最初将其脚本语言命名为LiveScript，后来Netscape在与Sun合作之后将其改名为JavaScript。JavaScript最初受Java启发而开始设计的，目的之一就是“看上去像Java”，因此语法上有类似之处，一些名称和命名规范也借自Java。JavaScript与Java名称上的近似，是当时Netscape为了营销考虑与Sun微系统达成协议的结果。Java和JavaScript的关系就像张雨和张雨生的关系，只是名字很

2020-08-18 20:54:26 95

原创 CSS定位

定位(position)如果，说浮动，关键在一个 “浮” 字上面，那么我们的定位，关键在于一个 “位” 上。定位是我们CSS算是数一数二难点的了，但是，你务必要学好它，我们CSS离不开定位，特别是后面的js特效，天天和定位打交道。不要抵触它，反而要爱上它，它可以让我们工作更加轻松哦！元素的定位属性元素的定位属性主要包括定位模式和边偏移两部分。1、边偏移边偏移属性描述top 顶端偏移量，定义元素相对于其父元素上边线的距离bottom 底部偏移量，定义元素相对于其父元素下边线的距离lef

2020-08-18 20:50:28 105

原创 HTML表格表单与CSS初识、选择器

创建表格在HTML网页中，要想创建表格，就需要使用表格相关的标签。创建表格的基本语法格式如下：<-table-><-tr><-td>单元格内文字<-td>…<-tr><-table>在上面的语法中包含三对HTML标签，分别为 table、tr、td，他们是创建表格的基本标签，缺一不可，下面对他们进行具体地解释。1.table用于定义一个表格。2.tr 用于定义表格中的一行，必须嵌套在 table标签中，在 table

2020-08-11 20:30:22 601

原创 HTML基础第一天

HTML+CSS第一天总结web标准**结构** html 身体**表现（样式）** css 穿着打扮**行为** javascript 动作技能HTML骨架htmlhead 文档头部 title 文档标题 metabody 文档主体DOCTYPE 文档类型 html5charset=“UTF-8” 字符集html标签标签分类双标签 <p>段落</p> 单标签 <br /> hr img bas

2020-08-10 19:27:08 103

原创 JDBC事物机制和代码优化

事务机制管理Transaction事务机制管理默认情况下,是执行一条SQL语句就保存一次,那么比如我需要有三条数据同时成功同时失败,这个时候就需要开启事务机制了如果开启事务机制,执行中发生问题,会回滚到没有操作之前,相当于什么也没有发生过1.1 没有事务处理的操作 Connection conn = null; PreparedStatement prst = null; Statement stmt = null; try { conn = DBUtil.getConnection

2020-08-08 20:29:08 118

原创 JDBC介绍和它的相关DML操作

JDBC介绍JDBC定义了一套规范标准，它对应的是各种接口与抽象类（通常对应java.sql包下面的各种类与接口），具体实现交给各数据库厂商去完成， MySQL的有自己的实现类并打成jar包发布，供程序开发人员使用；Oracle也有自己的实现jar包。我们开发人员在使用的时候，要根据连接数据库的不同，去对应的官网上下载对应数据库版本与程序语言的数据库驱动（Java语言对应的是一个jar包）。（比如我们使用MySQL 5.1，就要去MySQL官网下载Java语言对应的jar包）JDBC : Java D

2020-08-08 20:20:54 333

空空如也

空空如也