- 博客(18)
- 收藏
- 关注
RSS订阅原创 Redis
NoSQL与RDBMSRDBMS的特点：关系型数据库管理系统工具：MySQL、Oracle、SQL Server……应用：业务性数据存储系统：事务和稳定性特点：体现数据之间的关系，支持事务，保证业务完整性和稳定性，小数据量的性能也比较好开发：SQL业务架构中的问题问题：以网站后台存储为例，当并发量很大，所有高并发全部直接请求MySQL，容易导致MySQL奔溃需求：能实现高并发的数据库，接受高并发请求NoSQL的特点：Not Only SQL：非关系型数据库
2021-07-06 22:36:07
234
原创 Kafka
kafka介绍解决的问题:step1：传统网站的存储架构step2：高并发读问题step3：高并发写问题基本介绍官网：kafka.apache.org领英公司基于Scala语言开发的工具val input = sc.textFile(inputPath);val wcRs = input .flatMap(line => line.split("\\s+")) .map(word => (word,1)) .reduceByKey((tmp，item) =>
2021-07-06 22:25:25
220
原创 Hbase
NoSQL与RDBMSRDBMS的特点：关系型数据库管理系统工具：MySQL、Oracle、SQL Server……应用：业务性数据存储系统：事务和稳定性特点：体现数据之间的关系，支持事务，保证业务完整性和稳定性，小数据量的性能也比较好开发：SQL业务架构中的问题问题：以网站后台存储为例，当并发量很大，所有高并发全部直接请求MySQL，容易导致MySQL奔溃需求：能实现高并发的数据库，接受高并发请求NoSQL的特点：Not Only SQL：非关系型数据库
2021-07-06 22:17:10
337
原创 Elastic_Stack
搜索引擎基础倒排索引常见搜索引擎网页搜索引擎：百度、谷歌业务搜索引擎：商品搜索、订单搜索日志搜索引擎：运维查看日志应用：用户给定关键词，搜索引擎返回与关键词相关的结果关系：大数据与搜索引擎工程师之间的联系搜索引擎中的数据一般由大数据工程师实现存储过程step1：用户提交搜索词大数据分析step2：搜索引擎对用户的搜索词做分词搜索引擎会获取用户的输入，调用分词器对用户的搜索词进行分词大数据分析step3：将爬取到的所有网页构建倒排索引，
2021-07-06 21:59:01
767
原创 hive基本函数
关系运算1、等值比较: =语法：A=B操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSEhive> select 1 from iteblog where 1=1;12、不等值比较: <>语法: A <> B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSEhive> select 1 from iteblog
2021-06-05 21:32:36
608
原创 hdfs小问题解决
1.域名的配置：ping不通虚拟机进入C:\Windows\System32\drivers\etc目录下，修改host文件，添加以下内容：192.168.88.100 node1.itcast.cn node1192.168.88.101 node2.itcast.cn node2192.168.88.102 node3.itcast.cn node3问题:Linux输入history出现乱码解决办法:可以用# reset # tput sgr0 命令来进行恢复问题:linux .
2021-06-05 21:30:55
279
1
原创 Windows上写MR程序小问题
问题:win10系统中环境变量path变成一行显示解决:把C:\Windows\system32放到最前面问题：出现该问题是因为java_home路径名里面有空格或中文,要小心这些MapReduce方面问题:本质是程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数2这些需要在程序里加上...
2021-06-05 21:21:26
91
原创 MySQL(2)
DBMS(关系型数据库): MySQL SQL Server Oracle SQL==SQUEL(最开始的叫法)增删改查有一个术语：CRUD操作 : Create（增） Retrieve（检索） Update（修改） Delete（删除）SQL脚本太大打不开,直接在dos命令窗口输入source 文件路径 回车 直接运行------------------------------------------------MySQL---------------------
2021-06-05 21:17:58
171
原创 MySQL(1)
MySQL的8版本以后用DateGrip时会出现时区问题,在url下载的地方后面加上?serverTimezone=UTC优先级：from>join>on>where>group by>with>having>select>distinct>order by1.登录Mysql:mysql -u root -p 回车,在输入密码: 登录到数据库 -h: ip地址 -p:3306mysql [-h 连接的主机ip -P端口3306] -
2021-06-05 21:16:27
142
原创 shell注意(1)
等号两边不能有空格使用一个定义过的变量，只要在变量名前面加 $ 即可。已定义的变量，可以被重新定义。使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。 格式： readonly 变量名=值使用 unset 命令可以删除变量。 不能删除只读变量。单引号字符串的限制：单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的双引号的优点： 双引号里可以有变量 双引号里可以出现转义字符字符串操作(1)获取字符串长度..
2021-06-05 21:09:03
51
原创 maven依赖
maven依赖1.Maven是项目进行模型抽象, 充分运用的面向对象的思想, maven可以通过一小段描述信息来管理项目的构建, 报告和文档的软件项目管理工具。maven除了以程序构建能力为特色之外,还提供高级项目管理工具。由于maven的缺省规则有较高的可重用性, 所以常常用两三行maven构建脚本就可以构建简单的项目。2.maven的作用maven对项目的第三方构建(jar包)进行统一管理。向工程中加入jar包不要手工从其他地方拷贝, 通过maven定义jar包的坐标，自动从maven仓库中下载
2021-06-05 21:00:53
91
原创 maven
maven第一部分完成一个java项目，需要做哪些工作1.分析项目要做什么，知道项目有哪些组成部分。2.设计项目，通过哪些步骤，使用哪些技术。需要多少人， 多长的时间。3.组建团队，招人， 购置设备，服务器， 软件， 笔记本。4.开发人员写代码。 开发人员需要测试自己写代码。 重复多次的工作。5.测试人员，测试项目功能是否符合要求。测试开发人员提交代码-如果测试有问题–需要开发人员修改–在提交代码给测试–测试人员在测试代码-如果还有问题-在交给开发人员-开发人员在提交-在测试直到-测试代
2021-06-05 20:53:11
80
原创 Hadoop的MapReducer
MapReducer最基础的mapperReducer运行(不涉及排序,自定义分组):Mappper运行:#程序会启动多少个maptask1.先进行逻辑划分机制,把文件划切成一个一个的block块,每个block大小为128M,一个block块启动一个maptask,所以说有多少个切片(block块)就启动多少个maptask来处理#maptask里怎么运行2.在类里先调用map方法,map方法里3个参数(k,v,context(上下文)),k,v是一对键值对,k代表的是每行起始位置的偏移量,v
2021-06-05 20:43:00
201
原创 java笔记(4)
***62.IO流 注意：在java中只要“类名”以Stream结尾的都是字节流。以“Reader/Writer”结尾的都是字符流。(1)•按照操作分1).字节流: 以字节为单位来操作数据. 字节流能操作所有的文件类型. 例如: 图片, 视频, 音频, 文本文件等.字节输入流 顶层抽象类是: InputStream. –字节输出流 顶层抽象类是: OutputStream.2).字符流: 以字符为单位来操作数据. 字符流只能操作纯文本文件 顶层抽象类是: Write
2021-05-06 22:29:21
198
原创 java笔记(3)
47.重载和重写的区别，自己的语言描述:重载是在同一个类中的相同名字的方法,而参数列表不同所形成的.重写是发生在有继承关系的类中,子类继承父类的方法然后对父类的方法进行重写,是因为父类满足不了需求,需要重写.重写必须有相同的方法名,相同的返回值类型,相同的参数列表.重写的方法不能比被重写的方法有更低的访问权限.重写的方法不能比被重写的方法抛更广的异常.父类的构造方法和私有方法不能被重写.静态的方法不存在重写工具类(1) 排序算法： sort()方法，可以排序。静态方法，直接使用类名调用就行。Ar
2021-05-03 23:03:53
118
原创 java笔记(2)
带static的方法用类名. 去调用,不带static的方法 先new 对象,然后用引用去调(实例方法)封装(1)怎么封装?1.属性私有化(使用private关键字进行修饰)2.对外提供简单的操作入口(2)封装不能写static带有 static 关键字的方法是静态方法,不需要创建对象，直接通过“类”来调用。对于没有 static 关键字的方法被称为实例方法，这些方法执行时要求必须先创建对象，然后通过“引用”的方式来调用。而对于封装来说，setter 和 getter 方法都是访问对象..
2021-04-25 20:01:30
62
原创 hive sql 笔记和问题解决1
域名的配置：进入C:\Windows\System32\drivers\etc目录下，修改host文件，添加以下内容：192.168.88.100 node1.itcast.cn node1192.168.88.101 node2.itcast.cn node2192.168.88.102 node3.itcast.cn node3进入和连接hive1. 进入到/export/server/hive-2.1.0/bin目录中2. 执行以下命令：./beeline3. 输入：!connect
2021-04-22 17:05:42
400
原创 java笔记(1)
@java学习中重难点笔记(1)方法注意事项:(1). 方法与方法之间是平级关系, 不能嵌套定义.(2). 方法必须先创建才可以使用, 该过程称为: 方法定义.(3). 方法自身不会直接运行, 而是需要我们手动调用方法后, 它才会执行, 该过程称为方法调用.(4). 方法的功能越单一越好.(5). 定义方法的时候写在参数列表中的参数都是形参. 形参: 形容调用方法的时候, 需要传入什么类型的参数.(6). 调用方法的时候, 传入的具体的值(变量或者常量都可以), 叫实参. 实参: 调用方法时,
2021-04-20 11:15:30
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人