自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(118)
  • 资源 (10)
  • 收藏
  • 关注

原创 Java(遍历文件夹)

java 代码 看 目录下 有哪些文件?package cn.itcast.networkqualityinfo;import java.io.File;import java.io.IOException;/** * Created by 一个蔡狗 on 2019/12/30. */public class test { public static void ma...

2019-12-30 16:50:39 9720

原创 Java(查看目录下总共写了多少行代码)

写了那么久代码,都不知道自己每一个项目 总共写了多少 行代码 ,今天 它来了。package cn.itcast.networkqualityinfo;import java.io.File;import java.io.IOException;/** * Created by 一个蔡狗 on 2019/12/30. */public class test { ...

2019-12-30 16:46:19 10000 4

原创 早安

睡前准备:把纠结留在昨天:睡觉前请将第二天要穿的衣服放置在伸手就能拿到的地方,不要第二天早晨再纠结今天应该穿什么。因为很可能这个纠结的过程你会在床上完成,起床的黄金时间很短,一旦你花在纠结穿搭上,你就更难起床了。如果是冬天一定要把衣服放在暖气或加热器附近,这样第二天起床后你穿上的衣服是暖融融的,会给你一个正反馈,你对寒冷的惧怕就不会像之前那么的严重了,想到马上就能穿到暖融融的衣服,你甚...

2019-12-30 11:32:46 14182 18

原创 信号强度诊断(第一阶段)

第一阶段(项目简述)项目背景、功能组成、逻辑架构、技术架构项目背景介绍 项目功能模块介绍 数据处理流程及逻辑架构设计 数据介绍 详细功能描述 系统架构介绍 1. 项目背景看到项目背景,本项目做了哪些事情。手机已经是人们生活中不可缺少的重要通信、咨询、娱乐的工具。手机在带来方便的同时也带来了烦恼,就是信号质量差手机上网速度慢等问题。针对这一问题,如何为用户提供更好的服...

2019-12-28 20:22:17 7936

原创 信号强度诊断(系统架构)

设计策略本项目前后端的设计结构,了解前端使用了哪些技术,后端使用了哪些技术系统的设计方法是采用面向对象的设计。本系统前端页面交互主要采用B/S的结构,采用MVC及流式数据的设计思路进行规划设计。前端数展现使用Echarts技术。与地图相关的报表使用百度地图提供的API。后端实时数据,实时接入mysql。为了不影响线上系统的正常使用,同时能够将数据发送到大数据平台,本项目使用Can...

2019-12-28 20:22:09 8073 4

原创 信号强度诊断(第二阶段)

第二阶段(离线数据入库)设计流程,实现历史数据的入库1、数据上传2、创建数据表3、数据拆分4、数据表加载离线数据入库总体流程离线数据,大多为历史已经存在的、用于进行宏观统计分析,对于时效性不高的业务场景所使用的数据。本项目的离线分析数据均来源于此。离线数据入库,即将数据加载到数据仓库内。首先将数据传入服务器,在大数据集群环境就绪的前提下,将数据上传到海量数据存储...

2019-12-28 20:22:00 6921

原创 Phoenix 简单命令

创建phoenix表create table if not exists testtable(A bigint not null,B double, C varchar(200),D varchar(200) CONSTRAINT testtable PRIMARY KEY(A));查看表结构!desc testtable;删除表drop table...

2019-12-27 21:12:06 11244

原创 Phoenix 简单操作使用

Phoenix可以有4种方式调用批处理方式 命令行方式 GUI方式 JDBC调用方式(1)批处理方式A: 创建user_phoenix.sql文件内容如下CREATE TABLE IF NOT EXISTS user_phoenix ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIG...

2019-12-27 21:08:28 8560

原创 Phoenix 安装部署

什么是Phoenix?phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询HBase数据。支持SQL的还有Hi...

2019-12-27 21:00:20 10870 3

原创 学会Linux Shell循环脚本看这一篇就够了

前言:循环不管在程序中还是脚本中都需要经常用到,那么在 linux 中 简单的shell 脚本怎么写循环呢?在写shell脚本时,经常需要进行循环操作。这里简单谈一下 常用的 for循环结构 然后再添加几个不同的例子,以便帮助有需要的朋友。比如 从1到100的循环方法,循环解压文件, 循环向 Hive 导入数据等等。再linux 下 for 循环中可以使用 br...

2019-12-25 18:00:54 16157 5

原创 Can't create/write to file '/tmp/#sql_16bd_0.MYI' (Errcode: 13)

问题描述:要写的目录 没有权限tmpdir是MySQL存临时文件的目录的路径名。如果未设置变量tmpdir,MySQL将使用系统的默认值,通常为/tmp、/var/tmp或/usr/tmp。解决方案:查看系统变量tmpdir,如下所示,tmpdir变量指定路径为/tmpmysql> show variables like'tmpdir';+-----------...

2019-12-25 09:00:58 10921 1

原创 hive -show databases报错,Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStore

问题描述:1 可能是元数据问题2 hive 反应比较慢 识别不到 所以 报错。1 的 解决方案:启动元数据服务:hive --service metastore再次执行 show databases;成功!hive> show databases;OKdefaultTime taken: 0.03 seconds, Fetched: 1 r...

2019-12-25 08:04:47 10077

原创 Linux 中 You have new mail in /var/spool/mail/root

在 centos6.9 出现You have new mail in /var/spool/mail/root这种提示,对于自己基本没有什么用处,而且有时候还插在命令里头,很是不爽。关闭这个提示只要一条命令: echo "unset MAILCHECK">> /etc/profile然后刷新一下: source /etc/profile...

2019-12-24 21:23:30 9443

原创 信号强度诊断(项目概述)

第一阶段了解整个项目相关细信息。项目背景介绍、项目概述、逻辑架构介绍、功能需求介绍、数据结构介绍、总体架构介绍。第二阶段离线业务数据上传,根据架构,对离线数据进行整理、创建数据库表、数据加载。第三阶段离线业务SQL语句整理、整理SQL语句生成结果表的结构及字段,根据结果表所需的字段,在原始表中抽取该字段数据加工、补充及入库、创建索引...

2019-12-24 08:04:27 8220 1

原创 Azkaban报错(jdk版本冲突)

问题 :解决方案:

2019-12-24 07:46:35 6862

原创 Hive出错记录③

问题 :解决方案 :第一步[root@node001 conf]# mysql -uroot -prootWelcome to the MySQL monitor. Commands end with ; or \g.第二步mysql> use user;ERROR 1049 (42000): Unknown database 'user'mysql&g...

2019-12-23 10:30:14 7327

原创 Hive出错记录①

问题:解决方案:

2019-12-23 10:27:09 6257

原创 IntelliJ IDEA 详细使用

窗体介绍为了更好地使用IDEA工具进行开发,我们将两个工具条进行展示文件夹介绍out 是编译后的字节码文件存放位置。src 是java源文件存放位置。.idea是用来存放项目的配置文件的包括如版本号,历史记录等。基本配置设置鼠标控制字体,设置帮助下面设置一种鼠标控制字体的操作,设置完毕之后 可以达到通过 Ctrl+鼠标滚轮的操作来实现放大和所有字...

2019-12-23 08:01:14 12014

原创 JDBC应用技术(六)

单选题1.以下是SQL注入问题解决方法的是() A、使用PreparedStatement预处理对象执行sql语句 B、不使用数据库存放客户的信息 C、SQL可以方便用户,无需解决。 D、使用Statement预处理对象执行SQL语句 正确答案:A 2.以下对JDBC描述不正确的是() ...

2019-12-23 08:01:03 9266

原创 JDBC应用技术(七)

单选题1.下列关闭顺序正确的是() A、resultSet.close();statement.close();connection.close(); B、statement.close();connection.close();resultSet.close(); C、resultSet.close();connection.close();...

2019-12-23 08:01:02 7193

原创 JDBC应用技术(八)

单选题1.以下对事务描述不正确的是( ) A、事务是逻辑上的一组操作。 B、一个事务中的多个操作可以都成功。 C、一个事务中的多个操作可以都失败。 D、一个事务中的多个操作可以部分成功,部分失败。 正确答案:D 2.下列哪一项是read uncommitted存在的问题( ) A、虚...

2019-12-23 08:00:54 8238

原创 JDBC应用技术(九)

单选题1.下列哪一个不是DBCP配置项中必须的( ) A、driverClassName B、Url C、maxWait D、Username 正确答案:C 2.下面的描述正确的是什么?( ) A、PreparedStatement继承自Statement B、...

2019-12-23 08:00:52 7741

原创 JDBC应用技术(十)

单选题1.下列选项中哪一个是serializable可以解决的问题( ) A、脏读 B、脏读、不可重复读 C、脏读、不可重复读、虚读 D、以上三个中都不能解决 正确答案:C 2.如果要使用JDBC连接mysql的mydb数据库,那么url应该是() A、jdbc:mysql//:lo...

2019-12-23 08:00:36 7267

原创 IntelliJ IDEA 安装2017

IDEA的安装注意:机器内存应至少为8G才能正常使用。1、双击打开压缩包2、点击next3、点击Browse…选择安装目录,选择完毕,点击Next>(注意:部分机器点击Next会短暂宕机,这是正常的,稍等即可)4、选择64位,点击Next>5、点击Install (根据机器性能不同,安装过程会持续几分钟)6、点击Finish即可 (注意...

2019-12-23 08:00:28 12474

原创 如何优雅地使用 Windows 10 ?

分享一些使用Win10的技巧,希望能助你提升Win10的使用效率。Windows快捷键天下武功,唯快不破。说起Windows的使用技巧,不得不提键盘重度用户非常喜欢的快捷键。Win+D:显示桌面Win+E:打开资源管理器Win+I:打开设置界面Win+L:锁定屏幕Win+R:打开运行窗口Win+P:使用投影仪时,打开投影选项Win+Q/S:打开Cortana搜...

2019-12-23 07:58:07 12229 1

原创 IntelliJ IDEA 快速使用

IDEA简介Java开发工具 工具名称 工具截图 工具说明 记事本 优点: 开启最为快速的开发工具; 随时随地使用,操作系统自带 缺点: 开发界面单调,无代码颜色; 代码的书写格式需要程序员掌握; 写代码无帮助; ...

2019-12-22 14:38:15 12020 10

原创 IntelliJ IDEA 首次配置

在如下界面开启设置错过了如果错过了上面界面,开发中的补充配置方式:字符编码设置:UTF-8文件编码格式统一使用UTF-8,否则后续会出现乱码问题。把文件的编码格式设置成UTF-8步骤:Editor-----》FileEncodings编辑通用设置:控制字体+帮助Editor----》General​​​​​​​​​​​​​​自动导入设置...

2019-12-22 14:13:46 9409

原创 MySQL 选择题(十)

单选题1.以下能够删除一列的是( ) A、alter table emp remove columnName B、alter table emp drop column columnName C、alter table emp delete column columnName D、alter table emp delet...

2019-12-22 13:50:56 13278

原创 MySQL 选择题(九)

单选题1.如何在命令窗口连接MySQL数据库( ) A、MySQL -p root -u B、MySQL -u root -p C、MySQL -u -p root D、MySQL root -u -p 正确答案:B 2.下列说法错误的是( ) A、GROUP BY 子句用来分...

2019-12-22 13:49:49 14138 3

原创 MySQL 选择题(八)

单选题1. mysqldump -u username -p dbname table1 table2 ...-> C:\BackupName.sql根据上面命令判断出数据库名称是( ) A、mysqldump B、username C、dbname D、BackupName.sql 正确答案:...

2019-12-22 13:48:31 10295 3

原创 MySQL 选择题(七)

单选题1.删除数据表中的一条记录用以下哪一项( ) A、DELETED B、DELETE C、DROP D、UPDATE 正确答案:B 2.修改数据库表结构用以下哪一项( ) A、UPDATE B、CREATE C、UPDATED...

2019-12-22 13:47:13 12154 6

原创 MySQL 选择题(六)

单选题1.关系数据库中,主键是( ) A、创建唯一的索引,允许空值 B、只允许以表中第一字段建立 C、允许有多个主键的 D、用于标识表中唯一的实体 正确答案:D 2.MySQL数据库文件默认存放路径是( ) A、C:\ProgramData\MySQL\MySQL Server ...

2019-12-22 13:44:48 11471 4

原创 加油吧 少年(励志)

1.你背单词时,阿拉斯加的鳕鱼正跃出水面;你算数学时,太平洋的海鸥振翅掠过城市上空;你晚自习时,极圈上的夜空散漫着五彩斑斓;但是少年你别着急,当你为自己的未来踏踏实实地努力时,那些你感觉没有可能看到的风景,那些你觉得终身不会遇到的人,正一步步向你走来。”2.你背不下来的书,总有人能背下来,你做不出来的题,总有人能做出来,你愿意拖到明天的事,总有人今天努力做完,那么不好意...

2019-12-22 13:32:27 20125 61

原创 加油吧 少年(人生建议)

1. 去做你害怕的事,最后你会发现:其实不过如此。2. 在择校、择业、择偶的关键时刻,永远自己做决定,不要为了迎合别人、取悦别人而做决定。不然到最后你会发现,把你踩在鄙视链上摩擦的,就是你当时想要取悦的人。3. 隔手三尺不为财。4. 事情心中做。做前不声张,甚至做完后能不说也不说。5. 永远对任何人保留30%的神秘感。6. 脱贫比脱单重要。7. 判断一个人,看他做了什么,...

2019-12-22 13:32:09 13998 3

原创 零基础如何自学编程?

如果你正在自学编程和代码,并苦于没有优质资源,那么我就找对了地方。接下来给你介绍21个免费学习写代码的网站,在办公室里或在家里即可轻松学编程。编程初学者必必必必必必!看!马!上!打包收藏这21个免费学习网站精选21个有关代码、编程、Java、Python、SQL、Git、和Ruby on Rails学习的网站。这些网站为以下内容的学习提供了免费的优质资源:编程语言...

2019-12-21 23:15:26 8640

原创 HBase与Hive的整合

HBase与Hive的整合hive与我们的HBase各有千秋,各自有着不同的功能,但是归根接地,hive与hbase的数据最终都是存储在hdfs上面的,一般的我们为了存储磁盘的空间,不会将一份数据存储到多个地方,导致磁盘空间的浪费,我们可以直接将数据存入hbase,然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可,非常方便需求一:将Hive分...

2019-12-21 23:11:20 8885

原创 HBase与Hive的对比

Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。(不要钻不需要执行MapReduce代码的情况的...

2019-12-21 22:56:14 8347

原创 JDBC应用技术(五)

单选题1.如果要使用JDBC连接mysql的mydb数据库,那么url应该是() A、jdbc:mysql//:localhost:3306/mydb B、jdbc:mysql://localhost:3306/mydb C、mysql:jdbc//:localhost:3306/mydb D、mysql:jdbc://lo...

2019-12-21 22:53:01 6900

原创 JDBC应用技术(四)

单选题1.下列哪种属于读未提交( ) A、serializable B、repeatable read C、read committed D、read uncommitted 正确答案:D 2.下列哪种属于可重复读( ) A、serializable B、repe...

2019-12-21 22:51:06 6849

原创 JDBC应用技术(三)

单选题1.以下对MapHandler描述正确的是( ) A、将结果集中指定的列的字段值,封装到一个List集合中 B、将结果集中每一条记录封装到Map<String,Object>集合中 C、将结果集中第一条记录封装到了Map<String,Object>集合中 D、将结果集中的每一条记录封装到一个L...

2019-12-21 22:48:39 10044

sublime-text-build-4143-mac

非常好用的test文件!!!

2023-06-07

用户画像02:业务数据调研及ETL.md

整个用户画像(UserProfile)项目中,数据、业务及技术流程图 表的结构 数据库Database

2020-06-04

用户画像01:用户画像概念、项目概述及环境搭建.md

- **用户属性的研究侧重于显式地搜集用户特征信息**,主要体现在社会化标注系统领域,通过社会化标注系 统搜集比较全面的用户信息,用于多方位的了解用户。

2020-06-04

用户画像系统_【标签体系】信息.xlsx

用户画像对某一类特定群体或对象的某项特征进行的抽象分类和概括 用户画像方向 目前的用户画像研究主要集中在三个方向上:用户属性、用户偏好和用户行为三个主要方面。

2020-06-04

大数据优化.pptx

大数据项目中优化方向 1 代码优化 2 软件系统配置优化 3 操作系统优化 4 硬件优化 5 网络优化 集群的性能优化

2020-05-13

Scala文档.docx

scala是运行在JVM上的多范式(多种编程方法)编程语言,同时支持面向对象和面向函数编程 早期,scala刚出现的时候,并没有怎么引起重视,随着Spark和Kafka这样基于scala的大数据框架的兴起,scala逐步进入大数据开发者的眼帘。

2020-04-13

Yarn日记.docx

什么是Yarn : 通用资源管理系统和调度平台 Yarn特点: 1、支持多计算框架 2、资源利用率高,运行成本低,数据共享。 Yarn的意义: 降低了企业硬件的成本(多个集群变成一个集群),减少了资源的了浪费,运营成本低。

2020-04-03

Redis命令日记.docx

Redis是一个使用C语言编写的key-value开源的NOSQL存储系统。不支持SQL语句。redis数据存储在内存中,支持持久化(将数据写入硬盘)

2020-04-03

Kafka知识点.docx

Kafka生态系统四大角色,生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper

2020-04-03

Scala样例类练习.docx

1创建一个demo1的单例,在demo1中创建一个样例类名字为student1,成员变量为name:String, age:Int 创建主方法实例化student,并传参数(“xiaoming”,20),打印输出student1对象到控制台 创建一个demo2的单例,在demo2中创建一个样例类名字为student2,成员变量为name:String, age:Int 创建主方法实例化student2,并传参数(“xiaoming”,20),修改student2对象的age=25,打印输出student2对象到控制台等等

2020-04-03

Spark笔记1.docx

什么是Spark? Spark特点?Hadoop与Spark的对比?Spark运行模式?Spark安装部署 standalone集群模式启动

2020-04-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除