- 博客(98)
- 收藏
- 关注
RSS订阅原创 阿里云大数据组件零碎点总结（不定时更新）
1 ADS1.1 简介云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。云原生数据仓库AnalyticDB又称ADB又被称为ADS，以下仅用ADS。1.2 UPDATE_TYPE相关UPDATE_TYPE可设置数据的更新方式，可设置为batch（批量更新数据）和realtime（实时更新数据），默认值是batch，当设.
2020-07-07 17:10:59
5449
原创 阿里云大数据组件的基本介绍
阿里云大数据组件的基本介绍注意：本文结合了本人对Hadoop生态和Spark的理解，阅读本文需要对传统的大数据组件有基本的认识和了解。本文不具备权威性，若要准确地了解阿里云大数据组件的特性请直接查看阿里云帮助文档。目录阿里云大数据组件的基本介绍1 MaxCompute1.1 简介1.2 分布式1.3 计算模型1.4 系统架构1.5 数据通道2 Tunnel2.1 场景2.2 命令3 DataHub3.1 简介3.2 功能图3.3 插件支持3
2020-07-02 17:52:12
11962
2
原创 IP地址、子网掩码、默认网关、DNS服务器基本概念
参考链接：https://www.cnblogs.com/JuneWang/p/3917697.htmlIP地址：IP地址不做详细解释，内网的IP地址是由网络地址和主机地址组成。子网掩码：下面说说子网掩码是什么，子网掩码是用于确定内网IP的网络地址的，内网IP与子网掩码进行与运算就可以得出网络地址，不同的网络地址的IP之间不能直接进行通讯。网关：明白了IP和子网掩码的关系下面来说说网关是什么，上面说到不同的网络地址之间不能直接进行通讯，那么我现在要访问其他网络地址的...
2020-06-11 17:27:21
517
1
转载 为什么会出现存储过程？存储过程到底有什么用？
原文：存储过程到底有什么用？ - 虎哥的回答 - 知乎 https://www.zhihu.com/question/21345483/answer/656171236存储过程到底有什么用？最近有个朋友在研究存储过程的事儿。看着他在那里纠结，突然想问下存储过程到底有用么？bing了一下，在一些解释中：1、存储过程集合了sql语句并且缓存，大大提高语言执行效率2、增加安全性3、保证原子性对这些东西有些疑问：1、据说现在sql语句也会进行缓存，是否提高效率，提高多少效率还真不好说2、安全性
2020-05-25 17:07:33
524
原创 Oracle报错:Cant open editor connection
用DBeaver客户端链接Oracle建表的时候报错：IO 错误: Got minus one from a read call, connect lapse 1 ms., Authentication lapse 0 ms. Got minus one from a read call, connect lapse 1 ms., Authentication lapse 0 ms. Got minus one from a read call, connect lapse 1 ms., Au..
2020-05-18 11:07:22
3964
原创 MySQL报错：SQL错误[1146][42s02]: Table 'tablename' doesn't exist（记一次以为自己删库的经历）
事情起因：操作数据库的是我们的萌新妹子，不太懂MySQL数据库这些东西，只会用，不会修，今天一开工她就给我说之前一直都可以访问的表访问不了，应该是被某人删除了，而且是一大半的表都不见了！！！让我找找原因，刚刚收到这个消息的时候我是真滴是慌，删库跑路的剧情要发生在年纪轻轻的我身上了吗？？之前也没有过恢复数据的经验，没办法，只好硬着头皮一个人单干，我是项目的主要负责人之一那自然就得找出问题所在咯，我的MySQL客户端用的是Linux上的DBeaver，下面请大家欣赏一下MySQL报错的界面截图。o
2020-05-09 17:20:37
16158
原创 （施工中）大数据Spark Streaming实时项目：日志+Flume+Kafka+Spark Streaming+HBase+ECharts
需求：实时显示网址的点击量编写日志生成脚本，编写Flume配置文件，Flume source为日志文件，Flume sink为Kafka，编写Spark Streaming程序，整合Kafka，清洗数据，把统计结果写入到HBase数据库中，最后把数据展示出来------ 实时日志 -> Flume ------1 编写Python脚本模拟生成用户搜索数据(generate_log....
2020-05-07 12:13:35
965
1
原创 Log4j + Flume + Kafka + Spark Streaming整合
------ log4j -> Flume ------1 编写log4j.properties配置文件(log4j.properties)(Flume source接收的hostname和port在log4j.properties文件中配置)2 添加flume-log4jappender依赖(flume_log4j_依赖)3 编写自动生成日志的java程序(LoggerGenerat...
2020-04-09 15:06:32
308
原创 Spark Streaming 整合 Kafka（Direct方式）在本地运行以及在集群中运行
Direct方法与Receiver方法对比及优势1 简化并行度：简化并行度不需要创建多个输入流然后再进行合并。使用Direct方法Spark Streaming创建的RDD分区数与Kafka的分区一样多，这些RDD分区都从Kafka并行读取数据。因此，Kafka分区和RDD分区存在存在一对一的映射关系，这更已于理解和调整2 提升效率：Receiver方法为了实现数据零丢失，需要将数据存储在预写...
2020-04-08 18:44:39
488
原创 Spark Streaming 整合 Kafka（Receiver方式）在生产集群运行
Spark Streaming 整合 Kafka（Receiver方式）在生产集群运行步骤概述1 启动zookeeper2 启动Kafa3 创建kafka topic4 通过控制台测试本kafka topic是否能够正常的生产和消费信息5 写Spark Streaming代码6 使用mvn命令打包7 下载spark-streaming-kafka-0-8-assembly_2.11...
2020-04-08 12:34:30
210
原创 Spark Streaming 整合 Kafka（Receiver方式）在本地环境运行
步骤概述1 启动zookeeper2 启动Kafa3 创建kafka topic4 通过控制台测试本kafka topic是否能够正常的生产和消费信息5 写Spark Streaming代码6 启动Spark Streaming程序（传入参数zookeeper，group，topic，线程数）（传入参数 hadoop000:2181 test kafka_streaming_topi...
2020-04-03 19:02:32
169
原创 Spark Streaming 整合 Flume (Spark Streaming Pull Flume sink 数据） 在集群运行
概述/*SparkStreaming拉取Flume数据flume source -> flume sink(stays buffered) -> Spark Streaming(pull data from sink)pull比push方法好很多，有事务保障，工作中优先使用pull1 写Flume配置文件2 写Spark程序3 启动Flume（Pull方法需要先启动Fl...
2020-04-03 16:47:25
252
原创 Spark Streaming 整合 Flume (Spark Streaming Pull Flume sink 数据） 在本地运行
概述SparkStreaming拉取Flume数据flume source -> flume sink(stays buffered) -> Spark Streaming(pull data from sink)pull比push方法好很多，有事务保障，工作中优先使用pull1 写Flume配置文件2 写Spark程序3 启动Flume（Pull方法需要先启动Flum...
2020-04-03 12:15:56
284
5
原创 SparkStreaming 整合 Flume (Flume Push 到 SparkStreaming） 在集群运行
步骤：// 1 编写flume配置文件// 2 编写sparkstreaming程序// 3 打包// 4 启动sparkstreaming程序// 5 启动flume agent// 6 通过nc -lk 44444向flume source发送数据，查看sparkstreaming程序是否正常输出flume配置文件// flume source 是 hadoop000:...
2020-03-27 18:46:13
195
原创 SparkStreaming 整合 Flume (Flume Push 到 SparkStreaming） 本地测试
步骤：// 1 编写flume配置文件// 2 编写spark程序，启动sparkstreaming作业// 3 启动flume agent// 4 通过telnet输入数据，观察IDEA控制台的输出flume配置文件simple-agent.sources = netcat-sourcesimple-agent.sinks = avro-sinksimple-agent...
2020-03-27 17:20:25
233
原创 用SQL查询SparkStreaming DStream数据
pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o...
2020-03-26 18:56:44
324
原创 SparkStreaming 实现黑名单过滤功能
pom 文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache....
2020-03-26 16:31:50
795
原创 SparkStreaming updateStateByKey 历史数据累加
pom文件：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache...
2020-03-26 11:41:15
253
原创 SparkStreaming 处理端口数据，输出到MySQL
pom文件：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache....
2020-03-26 10:40:21
188
原创 Scala Spark Streaming 读取 HDFS 文件 WordCount
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h...
2020-03-18 17:09:04
544
原创 Scala Spark WordCount 例子
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h...
2020-03-18 14:29:31
248
原创 Spark Java Api Lambda 表达式 WordCount 例子
注意：Lambda表达式Java8以后的版本才有pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2020-03-18 11:22:50
230
原创 使用 Spark Java Api 进行 WordCount
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="...
2020-03-18 10:47:46
378
原创 linux安装redis以及配置redis desktop manager可视化工具
选择在Linux下安装redis，现在采用虚拟机安装的centos7 进行安装的1.安装gcc redis是c语言编写的 yuminstallgcc-c++2.下载redis安装包,在root目录下执行 wget http://download.redis.io/releases/redis-5.0.8.tar.gz3.解压redis安装包 tar...
2020-03-16 18:12:50
1080
原创 内存虚拟硬盘，并更改谷歌浏览器缓存目录
下载Primo Ramdisk 点击绿色加号创建虚拟盘 右击谷歌浏览器图标点开属性 改变 目标(T): 框中追加 -disk-cache-size=104857600 （注意：前面有一个空格）
2020-03-11 21:28:19
886
原创 hive建分区表、建导入数据格式为csv的表、加载数据、删表、清空表语句、查询结果导出为csv格式、运行sql文件
//建分区表CREATE TABLE 表名( host STRING, uri STRING, x_online_host STRING, user_agent STRING)PARTITIONED BY (day STRING);//加载数据LOAD DATA LOCAL INPATH './文件名' OVERWRITE INTO TABLE 表...
2020-02-25 18:44:49
442
原创 Oracle查看所有序列、删除序列、清空表
//查看所有序列select * from user_sequences;//删除序列drop sequence TEST_DPI_RULES_ID;//清空表truncate table TEST_DPI_RULES;
2020-02-25 18:27:21
2018
原创 Oracle用序列和触发器实现ID自增
//用序列和触发器实现ID自增//1 创建序列create sequence 序列名 increment by 1 start with 1 maxvalue 9999999999999999999999999999 nocycle cache 20;//2 创建触发器create or replace trigger 触发器名 before insert on 表名 for eac...
2020-02-25 18:25:38
286
转载 String,StringBuffer,StringBuilder三者的区别
原文链接速度：StringBuilder>StringBuffer>String线程安全：String 用 final 修饰，不可变，线程安全StringBuilder 线程不安全StringBuffer 线程安全总结：String适用于少量的字符串操作的情况StringBuilder适用于单线程下在字符缓冲区进行大量操作的情况StringBuffer适...
2020-02-24 16:30:22
86
原创 JAVA读取Excel数据
1. 创建Maven项目在pom文件中添加依赖 <dependencies> <!-- 旧的 .xls --> <!--<dependency> <groupId>org.apache.poi</groupId> <artifactI...
2020-02-24 16:02:36
815
1
原创 JAVA连接Oracle
import java.sql.*;public class ConnectOracle { public static void main(String[] args) { testOracle(); } public static void testOracle() { Connection con = null; ...
2020-02-24 15:56:03
277
转载 初次使用GitLab—idea中GitLab项目导入导出（详细）
地址：https://blog.csdn.net/weixin_41176346/article/details/84394852开始在命令行中使用Git打开shell选择适用于您操作系统的shellMac OSX的TerminalWindows上的GitBashLinux上的Linux Terminal下载后打开就ok啦~接下来就通过命令行进行如下操作↓↓↓检查Git是否已...
2019-11-29 17:50:05
1230
原创 maven打包报错：Cannot find matching toolchain definitions for the following toolchain types
报错信息：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-toolchains-plugin:1.1:toolchain (default) on project myfile: Cannot find matching toolchain definitions for the following toolcha...
2019-11-28 18:48:00
6410
转载 RSA加密的原理——为什么被公钥加密的可以被私钥解密？
原文：https://blog.csdn.net/doujinlong1/article/details/82051986RSA加密的原理——为什么被公钥加密的可以被私钥解密？目录一，RSA 数学理论基础二，RSA实现原理三，RSA加密的过程四，参考文献引言在密码学最开始，都是使用的普通加密模式A 用加密规则加密了字符串m 然后发给BB 用A的加密规则来解密，得到...
2019-07-16 19:05:39
1052
转载 Servlet跳转页面的几种方法总结
原文：http://hryblog.cn https://blog.csdn.net/hry1243916844/article/details/71425279servlet跳转页面的方法:跳转分为两部分，一部分发生在servlet，另一部分发生在JSP，JSP就是servlet，但是两者还是有部分差异。Servlet：（跳转发生在doGet,doPost等方法里）（1）redi...
2019-07-10 22:41:41
714
转载 mysql删除唯一约束
原文：https://www.centos.bz/question/dropping-unique-constraint-from-mysql-table/唯一约束也是索引。首先使用SHOW INDEX FROM tbl_name找出索引的名称。 索引的名称存储在该查询结果中的键名称列中。然后可以使用DROP INDEX：DROP INDEX index_name ON t...
2019-06-19 21:35:39
12507
转载 mysql的复合主键创建及删除
阅读原文请点击：http://click.aliyun.com/m/23921/摘要： mysql的联合主键：用2个字段(或者多个字段,后面具体都是用2个字段组合)来确定一条记录，说明，这2个字段都不是唯一的，2个字段可以分别重复，这么设置的好处，可以很直观的看到某个重复字段的记录条数。mysql的联合主键：用2个字段(或者多个字段,后面具体都是用2个字段组合)来确定一条记录，说明，这2个...
2019-06-19 21:22:26
49120
6
转载 mysql删除及更改表的主键
原文：https://bijian1013.iteye.com/blog/2352727 在我们使用MySQL的时候，有时会遇到需要更改或者删除mysql的主键，我们可以简单的使用alter table table_name drop primary key;来完成。 下面我使用数据表table_test来作了例子。1.首先创建一个数据表table_test...
2019-06-19 21:05:26
2871
转载 SQL中的DDL、DML、DCL、TCL
原文：https://itommy.iteye.com/blog/22781721.DDL（DataDefinition Language）数据库定义语言statements are used to define the database structure or schema.DDL是SQL语言的四大功能之一。用于定义数据库的三级结构，包括外模式、概念模式、内模式及其相互之间的映像，...
2019-06-18 19:17:28
218
转载 Java易混淆概念之类变量、实例变量、局部变量
原文:https://damoqingquan.iteye.com/blog/2347371.类变量、实例变量、局部变量类变量是类中独立于方法之外的变量，用static 修饰。实例变量也是类中独立于方法之外的变量，不过没有static修饰。局部变量是类的方法中的变量。看下面的伪代码说明：public class Variable{ static int allC...
2019-06-17 21:14:54
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人