IT晓白

从删盘到跑路
私信 关注
CSDN_小路
码龄4年

BigDate.我命由我!

  • 186,511
    被访问量
  • 142
    原创文章
  • 26,512
    作者排名
  • 106
    粉丝数量
  • 于 2017-05-02 加入CSDN
获得成就
  • 获得66次点赞
  • 内容获得35次评论
  • 获得235次收藏
荣誉勋章
TA的专栏
  • SpringBoot
    4篇
  • SpringCloud
    3篇
  • Spark
    12篇
  • Docker
    4篇
  • ▼安装
    29篇
  • ——软件
    5篇
  • ——集群搭建
    7篇
  • ——BigData组件
    11篇
  • ▼ JAVA
    29篇
  • ——SpringCloud
    2篇
  • ——Docker
    4篇
  • ▼问题
    16篇
  • ▼ BigData
    38篇
  • ——python
    1篇
  • ——MapReduce
    6篇
  • ——hive
    6篇
  • ——hbase
    4篇
  • ——DataX
    1篇
  • ——phoenix
    1篇
  • ——sqoop
    4篇
  • ——flume
    5篇
  • ——kafka
    5篇
  • ——zookeeper
    2篇
  • ——Scala
    1篇
  • ——Spark
    16篇
  • ——flink
    1篇
  • ——solr
    1篇
  • ——MySQL
    7篇
  • ——kettle
    1篇
  • ▼ 项目
    12篇
  • ▼总结
    13篇
  • ----------Oracle
    12篇
  • --------Excel
    1篇
  • --------Informatica
    2篇
  • ----------Hadoop
    1篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

截止目前没中过奖,没中过的来一起抱抱

发布Blink于 10 月前

我的blink被删了

发布Blink于 11 月前

SpringBoot系列之第三章-YML配置讲解

一 内容总况为什么使用yml文件?和学习yml语法。SpringBoot的配置文件有两种,一种是properties结尾的,另一种是yml文件结尾的。1.application.properties2.application.yml默认情况下是properties结尾的配置文件配置文件放在src/resources目录或者类路径/config/下二 先弄清什么是yml文件?yml...
原创
65阅读
0评论
0点赞
发布博客于 1 年前

SpringBoot系列之第二章-常用配置

一、内容总况主要了解resources包下面的application.properties如何使用。二 、最常用配置1:自定义端口springBoot默认的端口是 8080# 自定义端口server.port=9090三 最常用配置2:改随机端口思考问题:固定端口为什么不能用?为什么要改随机端口?1.如果在一台服务器上,多个服务无果用一个端口会造成端口冲突2.在现实的微服务开发...
原创
55阅读
0评论
0点赞
发布博客于 1 年前

SpringBoot系列之第一章-入门案例

一、环境介绍1.操作环境:Windows 102.开发工具:IDEA-20183.JDK-1.84.SpringBoot版本:2.2.4二、创建一个SpringBoot项目步骤1:new创建一个Project步骤2:选择Spring Initializr 并选这个JDK的版本信息,点击下一步(注意点:这个前提必须要连接网络)步骤三、配置SpringBoot项目的基本信息,配置...
原创
115阅读
0评论
0点赞
发布博客于 1 年前

为什么越来越多的开发者选择使用SpringBoot?

一、SpringBoot是什么?SpringBoot是伴随着Spring4.0诞生的;它于2014年4月,发布SpringBoot 1.0.0 。SpringBoot就是一个镶嵌web容器(Tomcat/jetty)可执行程序(jar)的框架。你开发的web应用不需要作为war包部署到web容器中,而是作为一个可执行程序,启动时把web服务器配置好,加载起来。二、SpringBoot退...
原创
89阅读
0评论
0点赞
发布博客于 1 年前

现在流行在这里互粉了?来吧,罗来带路

发布Blink于 1 年前
安装CentOS6.8并配置网络图文解说亲测全过程
发布Blink于 1 年前

hive视图使用案例

0.吧啦hive视图作用视图是基于数据库的基本表进行创建的它是一种伪表,数据库中储存视图的定义,不存数据项,数据项仍然存在基本表中它可作为一个抽象层,将数据发布给下游用户视图的作用:(1)可定义多表的连接、某些列或某些行可见,简化查询(2)视图只能查询,不能进行数据的插入和修改,可以提高数据的安全性1.创建视图1.1语法CREATE VIEW [ IF NOT EXISTS ] ...
原创
348阅读
0评论
0点赞
发布博客于 2 年前

Spring boot搭建启动时,启动失败,原因:Failed to determine a suitable driver class

问题描述:初次使用spring boot,启动时去出现了以下错误:Failed to configure a DataSource: 'spring.datasource.url' is not specified and no embedded datasource could be auto-configured.Reason: Failed to determine a suitable...
原创
568阅读
0评论
0点赞
发布博客于 2 年前

错误汇总Connected to the target VM, address: '127.0.0.1:XXXX', transport: 'socket';

【问题一】问题还原:spring boot maven 报错 connected to the target VM, address: '127.0.0.1:28481', transport: 'socket'问题描述:idea 直接运行 springbootAplication 启动类,无法启动web项目,也没有报错信息。解决办法 :1. 由于项目意外关闭,资源没有释放。结束系统的...
原创
886阅读
0评论
0点赞
发布博客于 2 年前

Oracle中Drop Table之后想恢复?来看这里[只要二步]

作用范围:下面方法仅仅适用于drop table,如果是delete 表中某些数据之后想要恢复请看这里,只需要三步。准备.查看数据库中,回收站里面存放的表名,以及drop table时的表名select object_name,original_name,type,droptime from user_recyclebin;方法一.根据drop table时删除的表名恢复表以及恢复...
原创
174阅读
0评论
0点赞
发布博客于 2 年前

Oracle中Delete数据之后想恢复?来看这里[只要三步]

1.查询数据库当前时间(目的是为了检查数据库时间是否与你电脑时间相近,避免时间不同而将数据恢复到错误时间点)select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') from dual;2、查询删除数据时间点之前的数据select * from 表名 as of timestamp to_timestamp('2019-11-10 11:00:00',...
原创
95阅读
0评论
0点赞
发布博客于 2 年前

hive表关联条件不支持不等值连接

hive表关联条件不支持不等值连接不等式:(>=,>,<=,<,<>,between..and)场景:oracle里面的SQL转化成hiveSQL中,关联时ON里面的条件如果含有不等值,那么在hive中不能直接使用,如果将不等式放在where条件中,造成下面描述问题: 直接将不等值连接放在where条件中会过滤掉主表的部分数据,解决方案:需要先通过i...
原创
1459阅读
0评论
0点赞
发布博客于 2 年前

Flume简介及基本使用

Flume 简介及基本使用一、Flume简介二、Flume架构和基本概念    2.1 基本架构    2.2 基本概念    2.3 组件种类三、Flume架构模式四、Flume配置格式五、Flume安装部署六、Flume使用案例一、Flume简介Ap...
原创
54阅读
0评论
0点赞
发布博客于 2 年前

Linux下Flume的安装

Linux下Flume的安装一、前置条件Flume 需要依赖 JDK 1.8+,JDK 安装方式见本仓库:Linux 环境下 JDK 安装二 、安装步骤2.1 下载并解压下载所需版本的 Flume,这里我下载的是 CDH 版本的 Flume。下载地址为:http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压tar -zxvf flum...
原创
92阅读
0评论
0点赞
发布博客于 2 年前

oracle遇到问题总结

甲骨文公司,全称甲骨文股份有限公司(甲骨文软件系统有限公司),是全球最大的企业级软件公司,总部位于美国加利福尼亚州的红木滩。1989年正式进入中国市场。2013年,甲骨文已超越 IBM ,成为继 Microsoft 后全球第二大软件公司。【百度百科】
原创
127阅读
0评论
0点赞
发布博客于 2 年前

使用expdp完成自动备份数据库案例以及遇到的问题

zero、exp与expdp命令区别说明1、exp和imp是客户端工具程序,它们既可以在客户端使用,也可以在服务端使用。2、expdp和impdp是服务端的工具程序,他们只能在oracle服务端使用,不能在客户端使用。3、imp只适用于exp导出的文件,不适用于expdp导出文件;impdp只适用于expdp导出的文件,而不适用于exp导出文件。4、对于10g以上的服务器,使用exp通常不...
原创
645阅读
0评论
0点赞
发布博客于 2 年前

我命由我

发布Blink于 2 年前

oracle中on与where、having的区别

一、陈述先说oracle中on与where的区别:1.在内连接即inner join中没有区别,2.在使用left jion时,on和where条件的区别如下:1、on条件是在生成临时表时使用的条件,它不管on中的条件是否为真,都会返回左边表中的记录。2、where条件是在临时表生成好后,再对临时表进行过滤的条件。这时已经没有leftjoin的含义(必须返回左边表的记录)了,条件不为真...
原创
201阅读
0评论
1点赞
发布博客于 2 年前

ORA-28000: the account is locked以及权限问题

system默认:managersys默认:change_on_install使用SQL Plus登录数据库时,system使用密码manager可直接登录。但如果是sys用户,密码必须加上as sysdba,即完整密码为:change_on_installas sysdbasqlplus: alter user dbaName account unlock; 解锁登陆账号sqlplu...
原创
71阅读
0评论
0点赞
发布博客于 2 年前

Informatica PowerCenter 产品安装9.6.1

一、安装前准备在安装Informatica之前,确保Oracle数据库已经安装好,并创建两个新用户:infa、infa_repo。两个用户分别用于后面配置Informatica(安装INFA过程中需要填入的用户)以及Informatica存储库服务(安装完成INFA后登录后台添加存储库的时候要配置的用户)。要在有dba权限的用户下面执行下面语句。1.创建用户说明:一个用于存储infa配置...
原创
650阅读
3评论
1点赞
发布博客于 2 年前

Flume整合Kafka

Flume 整合 Kafka一、背景先说一下,为什么要使用 Flume + Kafka?以实时流处理项目为例,由于采集的数据量可能存在峰值和峰谷,假设是一个电商项目,那么峰值通常出现在秒杀时,这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中,可能就会超过集群的处理能力,这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计,具有高吞吐的特...
原创
71阅读
0评论
0点赞
发布博客于 2 年前

Hadoop-YARN

集群资源管理器——YARN一、hadoop yarn 简介二、YARN架构        1. ResourceManager        2. NodeManager     ...
原创
161阅读
0评论
0点赞
发布博客于 2 年前

Linux下JDK安装

Linux下JDK的安装系统环境:centos 7.6JDK 版本:jdk 1.8.0_201. 下载并解压在官网 下载所需版本的 JDK,这里我下载的版本为JDK 1.8 ,下载后进行解压:[root@ luya03]# tar -zxvf jdk-8u201-linux-x64.tar.gz2. 设置环境变量[root@ luya03]# vi /etc/profile...
原创
68阅读
0评论
0点赞
发布博客于 2 年前

dbf2csv.rar

dbf2csv路径下有一个【示例.txt】1.修改里面的路径位置(E:\luyz03)、2.把此文本文件的扩展名改为bat。(即将txt改为bat,此文本文件随即变为批处理文件)然后双击此文件,执行刚输入在文本文件里的命令,就会批量的将(file文件夹下面)的DBF文件转化成CSV文件。
rar
发布资源于 2 年前

INFORMATICA批量读取同构动态名称EXCEL文件.pdf

Informatica开放、独立于平台的软件降低了企业IT的运营成本、加快了产出速度,可伸缩处理不同规模或不同复杂程度的数据集成项目。Informatica拥有遍布全球的客户关系网络,其出色的成功案例显示,Informatica将帮助更多的企业和政府机构实现其企业数据的商业价值。
pdf
发布资源于 2 年前

Oracle中表与包体用户没有操作权限问题

一、表1.在stg用户下查看table_name 表是否存在select * from table_name 2 在表所在用户执行(授权)grant select,update on table_name to wdb解释:在stg下执行上面语句,表示将stg用户下的table_name表的select,update权利授权给wdb用户。3.在想要操作的用户下执行create s...
原创
817阅读
0评论
1点赞
发布博客于 2 年前

String类型转Json对象并获取指定数据

Jar包使用maven添加依赖<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.8.2</version></dependency>...
原创
2855阅读
1评论
4点赞
发布博客于 2 年前

hive中日期类型转换的UDF小结

Hive中用于扩展HiveSQL功能的用户自定义函数称为HiveUDF UDF又分为UDAF(用户自定义聚合函数),UDTF(用户自钉子表生成函数)
原创
144阅读
0评论
1点赞
发布博客于 2 年前

记录使用Informatica的基本流程

Informatica(纳斯达克代码:INFA)是全球领先的独立企业数据集成软件提供商。世界各地的组织机构依赖Informatica为其重要业务提供及时、相关和可信的数据,从而赢得竞争优势。
原创
2056阅读
0评论
0点赞
发布博客于 2 年前

Oracle中视图的基本操作

1.创建视图+给视图添加注释+给字段添加注释CREATE OR REPLACE VIEW STG.TA_TFUNDINFO ASSELECT C_FUNDCODE FROM TABLE_NAME;comment on table STG.TA_TFUNDINFO is '基本信息表';comment on column STG.TA_TFUNDINFO.C_FUNDCODE is '...
原创
121阅读
0评论
0点赞
发布博客于 2 年前

【转】推荐几个免费下载破解软件的网站以及系统

今天想给大家推荐一些免费下载破解软件的网站,希望能帮助到大家!第一个要推荐的就CSDN自己的下载资源网站:https://download.csdn.net/推荐的原因主要是资源够全,一般网上有的这里都有,而且下载的时候能看到其他下载者的真实评价,但是有点不好的就是对新人不太友好,虽然有很多免积分的,但是一些新的资源都需要积分,不过人人为我,我为人人,在这里赚扣分也是很简单的事,只要你能上...
转载
3115阅读
0评论
1点赞
发布博客于 2 年前

visual studio code 批量去除文本中空行

1.ctrl+h快速打开替换界面,在Find界面输入^\s*(?=\r?$)
2.Alt+R选择Use Regular Expression(Alt+R)即正则表达式模式:3.选择Replace All(Ctrl+Alt+Enter)批量替换全部完成操作.ctrl+H^\s*(?=\r?$)
Alt+RCtrl+Alt+Enter另加一个notepad++no...
原创
490阅读
0评论
0点赞
发布博客于 2 年前

【转】如何解决PL/SQL Developer过期的情况

过期之后会发生下面错误信息:PLSQL Access violation at address 004287B0 in module 'plsqldev.exe'. Read of address 00000008.PL/SQL Developer过期了,又没有注册码,又不想花钱买,而且事情又非常急,这时候怎么办?不要着急,请随小编一起解决这种情况吧。环境 PL/SQL Dev...
转载
131阅读
0评论
0点赞
发布博客于 2 年前

wind使用bat脚本一键设置静态ip

测试数据Ipv4:192.168.1.1子网掩码:255.255.255.0网关:210.12.88.4bat脚本信息批注:将下面内容copy到TXT文件中,修改成自己想要的ip以及网关。之后修改文件后缀成bat格式,双击运行即可。(忽略中间出现的内容)@echo offtitle=IP快速设置程序@echo 设置IP color 1@echo 正在设置IP,...
原创
358阅读
0评论
0点赞
发布博客于 2 年前

excel 获取中文首字母缩写

1.设置【开发工具】菜单【文件】->【选项】->【自定义功能区】->【主选项卡】->勾选【开发工具】点击确定以后,导航菜单里增加一项【开发工具】2.自定义函数打开【开发工具】菜单,点击第一个【Visual Basic】,弹出代码窗口,在窗口左侧空白处,点击右键,选择【插入】->【模块】。窗口右侧出现一个白色背景框。复制粘贴如下内容到右侧框中...
原创
2208阅读
0评论
0点赞
发布博客于 2 年前

查询表的数据条数+表名+中文表名

一、SQL语句--查询表的数据条数、表名、中文表名select a.num_rows, a.TABLE_NAME, b.COMMENTSfrom user_tables a, user_tab_comments bWHERE a.TABLE_NAME = b.TABLE_NAMEorder by TABLE_NAME;二、测试...
原创
155阅读
0评论
0点赞
发布博客于 2 年前

Oracle修改表字段以及表类型

环境 win7 oracle Pl/sql准备 一张表 lyz_emp步骤1.创建表 lyz_emp -- 创建表lyz_emp create table lyz_emp( e_id number(10) not null ,e_oldName varchar2(2) not null ,PR...
原创
6768阅读
0评论
0点赞
发布博客于 2 年前

Oracle自动生成根据源表迁移到HIVE创表语句

SQL脚本============================================自动生成表脚本文件============================================select 'CREATE TABLE IF NOT EXISTS &OWNER.' || table_name || chr(13) || '(' || RT...
原创
280阅读
0评论
0点赞
发布博客于 2 年前

工作996,生病ICU https://github.com/996icu/996.ICU

发布Blink于 2 年前

Oracle添加字段备注以及查询

环境win7oraclePl/SQL准备一张表 `LYZ_ZJQH_BB`表中有字段 --查看创建表 lyz_zjqh_bbselect * from lyz_zjqh_bb;一、添加添加表备注--给表添加注释COMMENT ON TABLE lyz_zjqh_bb is 'XXXXXXXXXXXXXXXX';添加表字段备注--给表字段添加注释comment...
原创
1876阅读
0评论
0点赞
发布博客于 2 年前

DataX环境部署以及测试案例

DATAX简介DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据...
原创
1279阅读
0评论
1点赞
发布博客于 2 年前

linux 内存使用情况以及释放

查看free -hMem行(第一行)数据说明: Total:1035108KB。表示物理内存总大小。 Used:1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量,但其中可能部分缓存并未实际使用。 Free:26124KB。表示未被分配的内存。 Shared:0kb。共...
原创
86阅读
0评论
0点赞
发布博客于 2 年前

linux下tar.gz、tar、bz2、zip等解压缩、压缩命令小结

本文介绍了linux下的压缩程式tar、gzip、gunzip、bzip2、bunzip2、compress 、uncompress、 zip、 unzip、rar、unrar等程式,以及如何使用它们对.tar、.gz 、.tar.gz、.tgz、.bz2、.tar.bz2、.Z、. tar.Z、.zip、.rar这10种压缩文件进行操作Linux下最常用的打包程序就是tar了,使用tar程序打...
原创
63阅读
0评论
0点赞
发布博客于 2 年前

Python三部曲

简介:anaconda3下载地址官网:https://www.anaconda.com/download/百度云链接:https://pan.baidu.com/s/17jHeU909P1pmITCkZg3tcQ 密码:javtpython基础语法文档官网:https://docs.python.org/3.6/tutorial/index.html为什么要使用python一、pyt...
原创
455阅读
0评论
0点赞
发布博客于 2 年前

Kafka部署

搭建环境Zookeeper-3.4.6Scala-2.11Kafka_2.11-0.10.0.1.JDK-1.8下载地址:Zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/current/Scala:http://www.scala-lang.org/download/2.11.8.htmlKafka:http://ka...
原创
53阅读
0评论
0点赞
发布博客于 2 年前

12-DataFrame编程模型与操作案例

DataFrame原理与解析Spark SQL和DataFrame1、Spark SQL是Spark中的一个模块,主要用于进行结构化数据的处理。它提供的最核心的编程抽象,就是DataFrame。同时Spark SQL还可以作为分布式的SQL查询引擎。Spark SQL最重要的功能之一,就是从Hive中查询数据。2、DataFrame就易用性而言,对比传统的MapReduce API,说Sp...
原创
175阅读
0评论
0点赞
发布博客于 2 年前

获取下一天日期

起因今天刷博客,突然看到‘刚下完代码,就被开除了’我就好奇点进去看了一下发现如下内容。别人评论这段代码本意是想要获取下一天的日期的。结果这位程序员老哥写了个sleep函数,SLEEP的作用是延时,程序暂停若干时间,在执行时要抛出一个中断异常,必须对其进行捕获并处理才可以使用这个函数。然后一群吧友纷纷进来吐槽。“你他娘的真实个天才,哈哈哈,你是怎么进的公司啊?”也有人表示佩服,觉得很有想...
原创
3092阅读
0评论
0点赞
发布博客于 2 年前

存储过程与自定义函数的区别

存储过程与自定义函数的区别:1、存储过程实现的功能相对复杂,函数针对性较强2、存储过程可以返回多个值,函数只能有一个返回值3、存储过程一般独立执行,函数可以作为 sql 语句的组成部分来出现另外,存储过程也比通过API接口调用程序要快。...
原创
1187阅读
0评论
0点赞
发布博客于 2 年前

IDEA运行scala程序:Error:scalac: bad option: '-make:transitive'

问题描述IDEA运行scala程序报错:Error:scalac: bad option: '-make:transitive'详细截图解决方案:1)找到你该项目的所在目录,进入这个项目根目录下;2)进入.idea,并打开Scala_compiler.xml文件3)打开scala_compiler.xml文件,将此行&lt;parameter value="-m...
原创
1094阅读
3评论
1点赞
发布博客于 2 年前

11-SparkSQL整体背景

基本概述1、Spark 1.0版本以后,Spark官方推出了Spark SQL。其实最早使用的,都是Hadoop自己的Hive查询引擎;比如MR2,我们底层都是运行的MR2模型,底层都是基于Hive的查询引擎。2、后来Spark提供了Shark;再后来Shark被淘汰(Shark制约了Spark SQL的整体发展),推出了Spark SQL。Shark的性能比Hive就要高出一个数量级,而Sp...
原创
119阅读
0评论
0点赞
发布博客于 2 年前

10-SparkSQL读取mysql数据源并将结果写回mysql

一、创建测试表t_user2、user_t和t_result1、t_user2表结构如下:CREATE TABLE `t_user2` ( `id` int(11) DEFAULT NULL COMMENT 'id', `name` varchar(64) DEFAULT NULL COMMENT '用户名', `password` varchar(64) DEFAULT NULL...
原创
591阅读
0评论
0点赞
发布博客于 2 年前

log4j.properties

依赖&lt;dependency&gt; &lt;groupId&gt;org.slf4j&lt;/groupId&gt; &lt;artifactId&gt;slf4j-log4j12&lt;/artifactId&gt; &lt;version&gt;1.7.10&lt;/version&gt;&lt;/dependency&gt; log4
原创
49阅读
0评论
0点赞
发布博客于 2 年前

Spark2.3 - 运行异常NoSuchMethodError:io.netty.buffer.PooledByteBufAllocator.metric()

一、问题说明在一个项目中同时引入了多个框架hbase 1.4.1kafka 1.1.0spark 2.3.0在以local模型运行spark示例程序的时候,出现如下报错:Exception in thread &quot;main&quot; java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/n...
转载
766阅读
0评论
0点赞
发布博客于 2 年前

09-SparkSql实战

1、sparkSQL层级当我们想用sparkSQL来解决我们的需求时,其实说简单也简单,就经历了三步:读入数据 -&gt; 对数据进行处理 -&gt; 写入最后结果,那么这三个步骤用的主要类其实就三个:读入数据和写入最后结果用到两个类HiveContext和SQLContext,对数据进行处理用到的是DataFrame类,此类是你把数据从外部读入到内存后,数据在内存中进行存储的基本数据结构,在...
原创
86阅读
0评论
0点赞
发布博客于 2 年前

08-SparkSql架构

1、sql语句的模块解析当我们写一个查询语句时,一般包含三个部分,select部分,from数据源部分,where限制条件部分,这三部分的内容在sql中有专门的名称:当我们写sql时,如上图所示,在进行逻辑解析时会把sql分成三个部分,project,DataSource,Filter模块,当生成执行部分时又把他们称为:Result模块、DataSource模块和Opertion模块。那...
原创
246阅读
0评论
0点赞
发布博客于 2 年前

部署web项目到Linux服务器上(亲测)

本文主要讲了如何在阿里云上安装JDK、Tomcat、mysql以及其配置过程。最后以一个实例来演示在阿里云上部署Java web项目。部署环境JDK-jdk-8u141-linux-x64Tomcat-apache-tomcat-9.0.1Mysql-mysql_5.7Linux-CentOS6.8准备任务1.Java web项目2.centos安装与配置3.jdk安装与配置环...
原创
229阅读
0评论
1点赞
发布博客于 2 年前

在linux命令下导出导入.sql文件的方法

本文讲述了在linux命令下导出导入.sql文件的方法。分享给大家供大家参考,具体如下:一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):1、导出数据和表结构:mysqldump -u用户名 -p密码 数据库名 &amp;gt; 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p abc &amp;gt; abc.sql...
原创
507阅读
0评论
1点赞
发布博客于 2 年前

用sqoop将mysql的数据导入到hive表中的两种方式(亲测)

1:先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql:/...
转载
555阅读
0评论
0点赞
发布博客于 2 年前

07-Spark高级排序与TopK问题揭秘

引入前面进行过wordcount的单词统计例子,关键是,如何对统计的单词按照单词个数来进行排序?如下:scala&amp;amp;amp;amp;gt; val retRDD = sc.textFile(&amp;amp;amp;quot;hdfs://ns1/hello&amp;amp;amp;quot;).flatMap(_.split(&amp;amp;amp;quot; &amp;amp;amp;quot;)).map((_, 1)).reduceByK
原创
200阅读
0评论
0点赞
发布博客于 2 年前

06-spark RDD持久性、广播变量和累加器

Spark RDD持久化RDD持久化工作原理Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时,每个节点都会将自己操作的RDD的partition持久化到内存中,并且在之后对该RDD的反复使用中,直接使用内存缓存的partition。这样的话,对于针对一个RDD反复执行多个操作的场景,就只要对RDD计算一次即可,后面直接使用该RDD,而不需要反复计算多次...
原创
117阅读
0评论
0点赞
发布博客于 2 年前

05-Spark基本原理以及核心概念

Spark基本工作原理Client客户端:我们在本地编写了spark程序,打成jar包,或python脚本,通过spark submit命令提交到Spark集群;只有Spark程序在Spark集群上运行才能拿到Spark资源,来读取数据源的数据进入到内存里;客户端就在Spark分布式内存中并行迭代地处理数据,注意每个处理过程都是在内存中并行迭代完成;注意:每一批节点上的每一批数据...
原创
117阅读
0评论
0点赞
发布博客于 2 年前

04-spak RDD算子测试实战

Spark算子概述RDD:弹性分布式数据集,是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作,一个RDD代表多个分区里的数据集。RDD有两种操作算子:• Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行转换,仅仅是记住了数据集的逻辑操作• Action(执行):触发Spark作业的运行,真正触发...
原创
340阅读
0评论
0点赞
发布博客于 2 年前

03-sparkWC开发与应用部署

1. 使用Idea新建项目:Scala+maven工程1.1. 新建project1.2. 新建module1.3. 添加scala1.4. 添加maven还是在上面那个窗口找到maven选中,点击OK配置maven并修改maven创库1.File–点击Settings2.说明如图中所示Scala+maven项目目录结构如下2. WordCount开...
原创
148阅读
0评论
1点赞
发布博客于 2 年前

Flume结合场景讲解

flume 使用简单使用flume 场景1: 1、通过netcat发布消息 2、用flume接收netcat发布的消息,最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sink...
转载
100阅读
0评论
0点赞
发布博客于 2 年前

flink集群的搭建与部署

运行环境linux-CentOS6.8hadoop-2.7.5Scala-2.11.6jdk-1.8flink-1.7.1-bin-hadoop27-scala_2.11.tgzflink搭建1.下载下载地址:http://flink.apache.org/downloads.html根据自己集群环境的情况,下载相应的flink版本。上面描述我的集群环境是hadoop2.7...
原创
9136阅读
1评论
2点赞
发布博客于 2 年前

CentOS7搭建Hadoop3.1.1的HA详细步骤

最近负责的项目准备上大数据平台存储,主要还是围绕Hadoop平台来实现,虽然打算上cdh版本的hadoop,但是为了前期方便开发还是先使用原声的hadoop进行开发,后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的,如果需要使用其他用户操作,注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下h...
转载
467阅读
3评论
0点赞
发布博客于 2 年前

02-RDD与spark核心概念

Spark RDD非常基本的说明,下面一张图就能够有基本的理解:Spark RDD基本说明1、Spark的核心概念是RDD (resilient distributed dataset,弹性分布式数据集),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区...
原创
102阅读
0评论
0点赞
发布博客于 2 年前

node is in safe mode

问题描述上传或者操作hdfs的文件时候遇到 node is in safe mode.(处于安全模式),处于这个模式虽然不能进行修改文件的操作,但是可以浏览目录结构、查看文件内容的。解决方案那就是退出安全模式离开安全模式,命令 hadoop dfsadmin -safemode leave扩展命令查看安全模式状态,命令 hadoop dfsadmin -safemode get...
原创
93阅读
0评论
0点赞
发布博客于 2 年前

zookeeper单机与伪分布式安装与配置

一、基本环境Linux_CentOS6.8jdk1.8zookeeper-3.4.12二、单机模式的安装与配置2.1.下载zookeeper的tar包wget http://www-eu.apache.org/dist/zookeeper/current/zookeeper-3.4.12.tar.gz2.2.解压安装包到目标路径,并修改文件权限 tar -zxvf zookeep...
原创
125阅读
0评论
0点赞
发布博客于 2 年前

spring容器外部获取容器内部bean

思路步骤:         1.定义工具类SpringUtil的静态方法和静态引用。    2.实现接口ApplicationContextAware的setApplicationContext方法。    3.spring容器会在创建该对象过程中,将自身引用注入对象中(Component注解,让spring扫描到该bean)。编码步骤1.编写springutil:imp...
原创
510阅读
0评论
0点赞
发布博客于 2 年前

01-spark单机安装部署、分布式集群与HA安装部署+spark源码编译

spark单机安装部署1.安装scala1.下载:wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz2.解压:tar -zxvf scala-2.11.12.tgz -C /usr/local3.重命名:mv scala-2.10.5/ scala4.配置到环境变量:export SCALA_HOME...
原创
363阅读
0评论
0点赞
发布博客于 2 年前

00-Spark介绍

什么是Spark?Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。首先,Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和...
原创
4039阅读
0评论
0点赞
发布博客于 2 年前

maven打可执行jar包的两种方式

maven概念Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设,Maven使用标准的目录结构和默认构建生命周期。创建maven项目可以点击这里。 方法一:使用maven-jar-plugin/ maven-dependency-plugin插件打包1. 添加依赖到lib目录,指定jar包主类 在pom...
原创
586阅读
0评论
0点赞
发布博客于 2 年前

最详细Flink安装以及案例之WordCount

前言:本文主要介绍如何将Flink以本地模式运行在单机上。运行环境Linux-CentOS6.8JDK-1.8hadoop-2.7.5flink-1.7.1-bin-hadoop27-scala_2.11flink安装配置过程1.下载1.1进入下载页面。如果你想让Flink与Hadoop进行交互(如HDFS或者HBase),请选择一个与你的Hadoop版本相匹配的Flink包。...
原创
1009阅读
0评论
0点赞
发布博客于 2 年前

SSM 框架详细整合教程(IDEA版)(Spring+SpringMVC+MyBatis)

SSM(Spring、Spring MVC和Mybatis)如果你使用的是 Eclipse,请查看:许多童鞋现在开始学习这个流行的框架来进行Java开发,想要寻找一个最简单的SSM框架搭建方法,这里我不说什么废话,直接上手开始搭建,代码部分都做了详细的注释,可以快速上手!前提jdk 电脑安装jdk环境变量配置检查电脑中是否配置有JDK cmd命令窗口中,java -versio...
原创
423阅读
0评论
0点赞
发布博客于 2 年前

IntelliJ IDEA(2017/2018)安装图解与破解教程

IntelliJ IDEA(2017/2018)安装和破解IDEA 全称 IntelliJ IDEA,是Java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(Git、svn、github等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。IDEA是JetBrain...
原创
479阅读
0评论
0点赞
发布博客于 2 年前

Hadoop集群单机伪分布搭建

1.前提准备关闭防火墙:1. 永久性生效(这里需要重启机器才能生效 reboot)开启:chkconfig iptables on关闭:chkconfig iptables off(推荐)2. 即时生效,重启后失效开启:service iptables start关闭:service iptables stop3.查看状态service iptables statusJava...
原创
91阅读
0评论
0点赞
发布博客于 2 年前

安装CentOS6.8并配置网络图文解说亲测全过程

安装环境:本文是在win10系统安装上VMWare并配置Centos6.8虚拟机。准备工作1.安装VMWare虚拟机1.1下载VMWare12资源链接:https://pan.baidu.com/s/1AhfMSDXLO-aA0eMqnuMWHg 提取码:iftd1.2安装VMWare,在安装过程中需要输入密钥,填写下面密钥即可,傻瓜式安装。5A02H-AU243-TZJ49-GTC7...
原创
612阅读
0评论
1点赞
发布博客于 2 年前

docker入门+结合微服务实战(四)

介绍容器是docker的另一个核心概念简单的来说,容器是镜像的一个运行实例,所不同的是它有额外的可写文件层。如果认为虚拟机是模拟运行的一整套操作系统(提供了运行态环境和其他系统环境)和跑在上面的应用。那么docker容器就是独立运行的一个或一组应用,以及它们的必须运行环境。查看容器列表通过docker ps命令查看正在运行的容器列表,需要查询所有的容器需要加-a参数:查询正在运行的容器...
转载
74阅读
0评论
0点赞
发布博客于 2 年前

docker入门+结合微服务实战(三)

镜像镜像是docker的三大核心概念之一docker运行容器前需要本地存在对应的镜像,如果镜像不存在本地,docker会尝试先从默认镜像仓库下载(默认使用docker Hub公共注册服务器中的仓库),用户也可以通过配置,使用自动以的镜像仓库。获取镜像获取镜像通过命令,docker pull完成比如获取Redis3.0.0的镜像第一步,需要到远程的仓库进行搜索https://hub.d...
转载
60阅读
0评论
0点赞
发布博客于 2 年前

docker入门+结合微服务实战(二)

安装docker建议第二种吧,第一种默认1.13版本的,用出bug来了,但别人用没事.第二种默认17.12的我们可以在Centos或者Ubuntu下安装docker,要注意的是,centos6对docker支持的不好,使用docker建议升级到centos7。centos7直接通过yum安装即可:yum install -y docker如果报错Is the docker daemon r...
转载
61阅读
0评论
0点赞
发布博客于 2 年前

docker入门+结合微服务实战(一)

docker简介docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。docker的应用我们之前是如何将项目发布到Linux服务器的?大致步骤如下:1、 安装jdk2、 安装tomcat3、 将项目war包上传到tomcat的webapps...
转载
65阅读
0评论
0点赞
发布博客于 2 年前

微服务Springcloud超详细教程+实战(二)

远程调用方式无论是微服务还是分布式服务(都是SOA,都是面向服务编程),都面临着服务间的远程调用。那么服务间的远程调用方式有哪些呢?常见的远程调用方式有以下几种:RPC:Remote Produce Call远程过程调用,类似的还有RMI(Remote Methods Invoke 远程方法调用,是JAVA中的概念,是JAVA十三大技术之一)。自定义数据格式,基于原生TCP通信,速度快,...
转载
83阅读
0评论
0点赞
发布博客于 2 年前

微服务Springcloud超详细教程+实战(一)

认识微服务系统架构演变集中式架构/单体应用垂直拆分分布式服务服务治理(SOA)系统架构演变随着互联网的发展,网站应用的规模不断扩大。需求的激增,带来的是技术上的压力。系统架构也因此也不断的演进、升级、迭代。从单一应用,到垂直拆分,到分布式服务,到SOA,以及现在火热的微服务架构,还有在Google带领下来势汹涌的Service Mesh。我们到底是该乘坐微服务的船只驶向远方,还是偏安...
转载
98阅读
0评论
0点赞
发布博客于 2 年前

5台机器搭建HA步骤与注意事项

HA是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。
原创
1700阅读
4评论
6点赞
发布博客于 2 年前

zookeeper完全分布式安装

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
原创
127阅读
0评论
0点赞
发布博客于 2 年前

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop

目录HivePigSparkStormHBaseSqoopHivePig和Hive的对比摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如日志文件)。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive Hive在Hado...
转载
82阅读
0评论
0点赞
发布博客于 2 年前

Apache Spark编程教程

Apache Spark JavaRDD和任务解决好吧,我告诉我身边的每个人,如果你不知道map-reduce概念那么你就无法理解Apache Spark。为了证明这一点,让我们解决简单的任务。假设我们在城镇中有以下温度的文本文件:Prague 35Madrid 40Berlin 20Paris 15Rome 25位于Apache Hadoop HDFS文件系统,我们需要编写...
翻译
115阅读
0评论
0点赞
发布博客于 2 年前

apache-hive-1.2.1-bin 安装

技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.4)下载下载安装包apache-hive-1.2.1-bin.tar.gz: https://archive.ap...
原创
178阅读
0评论
0点赞
发布博客于 2 年前

HTTP 错误 404.0 - Not Found

当网上的那些修改程序池的方法,无法解决此问题时,可以尝试修改以下的参数:1.控制面板--&amp;gt;程序--&amp;gt;启用或关闭Windows功能--&amp;gt;Internet Information Services--&amp;gt;Web管理工具--&amp;gt;子项全部勾选上.2.Internet Information Services--&amp;gt;应用程序开发功能--&amp;gt;子项全部勾选上.重
转载
10788阅读
0评论
1点赞
发布博客于 2 年前

idea中@Data不起作用

相关依赖 &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.projectlombok&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;lombok&amp;lt;/artifactId&amp;gt; &amp;lt;version&amp;gt
原创
5378阅读
1评论
0点赞
发布博客于 2 年前

十个程序员必备的网站推荐

程序员的工作和日常生活非常的枯燥,这里给大家推荐一些程序员经常使用的网站,也是我经常上的一些网站,尤其是前三个网站感觉用起来非常的舒服。我大致把这些网站分为三类,使用工具类,设计分享类,资讯交流类,业界良心类。希望能对大家有所帮助。1,Github代码托管(https://github.com/)作为开源代码库以及版本控制系统,Github拥有140多万开发者用户。随着越来越多的应用程序转移到...
转载
143阅读
0评论
0点赞
发布博客于 2 年前

kettle入门之文本文件导入数据库

Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
原创
867阅读
0评论
1点赞
发布博客于 2 年前

关于java的杂乱无章(续更)

Java 是由Sun Microsystems公司于1995年5月推出的高级程序设计语言。Java可运行于多个平台,如Windows, Mac OS,及其他多种UNIX版本的系统。本篇文章主要讲述我在java中遇到的问题以及总结。
原创
63阅读
0评论
0点赞
发布博客于 3 年前

java中字符串大小写转换

JAVA中String类提供了转大写的方法toUpperCase()和转小写的方法toLowerCase()使用说明:String a = "ITXIAOBAI";system.out.println(a.toLowerCase());//itxiaobaiString b = "itxiaobai";system.out.println(b.toUpperCase());//ITXIA...
原创
1853阅读
0评论
0点赞
发布博客于 3 年前

大数据面试总结(二)

Java基础知识Java中常用算法:冒泡、选择、快速冒泡:两两比较,每一轮(0~length-i)挑出一个最值,并将其移除,循环遍历1~length 选择:外面定义从0~length-1,先选定一个最先面的下目标作为最小下标,将其所对应的值逐一与其他比较,如果有人小于这个值,将其下标交换位置,一轮下来,如果最小下标指向的值不再是刚定义的值,就将其所对应的值交换位置,循环遍历  里面...
原创
101阅读
0评论
0点赞
发布博客于 3 年前

大数据相关面试题整理-带答案

1、fsimage和edit的区别?Namenode主要维护两个文件,一个是fsimage,一个是editlog。fsimage保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进...
转载
270阅读
0评论
0点赞
发布博客于 3 年前

大数据相关面试题整理-带答案

1、fsimage和edit的区别?Namenode主要维护两个文件,一个是fsimage,一个是editlog。fsimage保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进...
转载
270阅读
0评论
0点赞
发布博客于 3 年前