- 博客(61)
- 收藏
- 关注
RSS订阅原创 叽里呱啦实习第三十六天
今日学习心得：写展示演讲稿。写HDFS的JAVA API练习使用java API创建目录，删除目录或文件，重命名，复制，判断，查看，上传本地文件，下载文件到本地。...
2019-11-14 23:05:47
168
原创 叽里呱啦实习第三十五天
今天学习心得：上午的时候练习了一个mysqljdbc，可以通过spring boot对自己的mysql执行sql语句下午可以将hive下的mysql中的元数据表里的字段查询出来，然后通过jdbc将查询到的字段插入到自己的mysql的表中（插入时会报空指针异常，是由于插入时的sql语句，rs没有返回值导致）再次写了一个静态的定时输出（每两秒执行一次），尝试实现插入的定时同步，没有成功。...
2019-11-13 17:47:54
160
原创 叽里呱啦实习第三十四天
对于hive的使用，在hadoop集群里，先启动hadoop集群，再启动mysql服务，然后，再hive即可。对于hive的使用，在spark集群里，先启动hadoop集群，再启动spark集群，再启动mysql服务，然后，再hive即可。hive操作命令：进入mysql:mysql -uroot -p10.9.1.229:3306mysql的账号密码：zhaojianfengJil...
2019-11-12 18:26:10
148
原创 元数据六张表
DROP DATABASE IF exists datacenter_metadata_platform;CREATE DATABASE datacenter_metadata_platform DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;SET NAMES utf8;SET FOREIGN_KEY_CHECKS = 0;USE datacent...
2019-11-12 11:22:43
469
原创 叽里呱啦实习第三十三天
@AutoConfigurationPackage:自动配置包@import(AutoConfigurationPackages.Registrar.class):Spring的底层注解@Import,给容器中导入一个组件;导入的组件由AutoConfigurationPackages.Registrar.class@Import(EnableAutoConfigurationImportS...
2019-11-12 10:28:22
104
原创 叽里呱啦实习第三十二天
今日学习心得：上午填写毕业设计的选题表，总结展示的内容。下午开始尝试将hive的数据定时同步到mysql里。学到了打点数据的加载流程，打点数据有相同的两份同时传给amplitude和BDP,amplitude->s3,在使用shell脚本传递给aws,再传到ucloud,之后加载到本地，再通过hdfs的put到某一路径，再用spark加载到amplitude-history。还学到了...
2019-11-06 19:12:42
176
原创 月总结
后端是提供食材的人，平台是负责准备工具的人，数仓来进行制作，产品是招待客户的人公司主要业务：0-8岁幼儿英语教育，线上的动画，绘本，听说读写，教具等在呱呱商店和有赞平台上售卖课程。部门价值：数仓：集成化数据环境（我的理解是不同的数据源的数据整合到一起），控制数据的流入和流出，本身是不产生和消费数据的存在，它是一种服务，用来管理数据，报表，对数据进行清洗，开发和内外部的建设，规范和用于的设计...
2019-11-06 17:47:50
161
原创 叽里呱啦实习第三十一天
@component把普通pojo实例化到spring容器中，相当于配置文件中的@EnableScheduling用来使计划任务功能可以使用的注解。@ValueSpring 通过注解获取*.porperties文件的内容，除了xml配置外，还可以通过@value方式来获取。使用方式必须在当前类使用@Component，xml文件内配置的是通过pakage扫描方式我还理解了@Sche...
2019-11-06 10:28:08
118
原创 叽里呱啦实习第三十天
今日学习心得：使用Java API连接和操作Hbase数据库Hbase shellhttps://www.csdn.net/gather_2d/MtTaEgysNTg2Ni1ibG9n.ht到目前为止我练习了写HBase connection和HBaseUtil,HBase connection里面就是获取连接，关闭连接，获取hbase table对象，HBaseUtil里写了几个方法，创...
2019-11-05 09:26:54
117
原创 周总结
1：在象数平台上练习sql语句。2：完成了元数据六张表的crud。（学到了用generation.XML快速生成mapper类，实体类和mapper,xml）3：了解工作流的意义：主要就是优化业务流程，提高业务工作效率，提高顾客服务质量。我自己的理解就是：进行业务工作前的建模。4：了解了定时任务的相关概念以及一些注释和规范。5：了解了git的基本工作流程：第一次：git clone f...
2019-11-03 22:47:55
86
原创 叽里呱啦实习第二十九天
今日学习心得：在开发过程中避免不了一些周期性的定时任务，比如定时同步数据库，定时发送邮件，定时初始化数据等等。如何使用Scheduler:1:使用@EnableScheduling启用定时任务2:使用@Scheduled编写相关定时任务开启定时任务：在程序中添加@EnableScheduling注解即可启用Spring的定时功能，这类似于Spring的XML中的task:*功能。例子...
2019-11-03 20:14:23
157
原创 叽里呱啦实习第二十八天
今日学习心得：配置generatorConfig.xml，重新导入jar包，更改location和数据库链接url，用户名和密码，
2019-11-01 09:37:30
125
原创 叽里呱啦实习第二十七天
今天主要写了历史搜索表和数据表，通过霏哥的讲解我了解了应该如何正确的构建项目结构，先将模版的pom.xml改名（可选）， 通过maven导入项目，修改generatorConfig.x...
2019-10-30 20:23:24
96
原创 叽里呱啦实习第二十六天
今日学习心得：1:和大可走了一遍spring boot crud的开发开发过程2:构思用户搜索历史记录表（没有想到搜索类型可以为空）3:将霏哥写的六个表在数据库上边敲边理解记忆了一遍4:开始进行历史数据表的crud代码编写5:霏哥晚上讲解问题...
2019-10-30 15:29:20
124
原创 霏哥的求差算法
package hjh;import java.util.Arrays;import java.util.List;import static java.util.stream.Collectors.toList;/**Author: meng-fei.yangDate: 2019-10-07 18:01Desc:*/public class CheckFile {...
2019-10-28 19:38:40
107
原创 叽里呱啦实习第二十五天
今日学习心得：什么是工作流：工作流（Workflow）就是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问题是：为实现某个业务目标，在多个参与者之间，利用计算机，按某种预定规则自动传递文档、信息或者任务。工作流管理系统（Workflow Management System, WfMS）的主要功能是通过计算...
2019-10-28 19:37:59
309
原创 2019-10-27
数据的存储空间，读写记录，权限归属和其它各类统计信息这类信息，可能包括但不限于：数据占据了多少底层存储空间，最近是否有过修改，都有谁在什么时候使用过这些数据，谁有权限管理和查阅这些数据等等。此外，还可以包括类似昨天新增了多少个表格，删除了多少表格，创建了多少分区之类的统计信息。在正常的工作流程中，多数人可能不需要也不会去关心这类信息。但是落到数据质量管理这个话题上时，这些信息对于系统和业务的优...
2019-10-27 21:35:44
231
原创 2019-10-26
我们通常会使用MySQL管理hive的元数据，只要在hive-site.xml中写入库路径、连接驱动、用户名和密码即可。但是在企业中，我们可以使用统一元数据管理：EMR相较于MySQL，EMR有如下优点EMR中的数据不会随着集群的释放而消失，所以可以实现元数据的持久化存储，但是需要注意的一点是在删除表之前，一定要确认元数据已经删除，否则会造成脏数据的产生第二个优点，可以实现计算存储分离，可...
2019-10-26 22:01:40
164
原创 叽里呱啦实习第二十四天
今日学习心得：通过翔哥的讲解，了解了咱们部门对外以及对内的大致工作。对外：1:优惠券（提供数据）2:短信的push（用户清单）3:智能复习（需要一些算法支撑）4:规划师（管理后台）对内：1:象数平台（即时查询-SQL）2:调度系统（日常工作，整体监控）3:权限系统（昨天开会时讨论的涉及到一些表的权限和审批权限）4:元数据管理5:指标管理（表的统一指标）6:血缘分析（一个表...
2019-10-26 17:32:33
132
原创 叽里呱啦实习第二十三天
今日学习心得：（以下内容在笔记本上抄写了一遍）Hive 元数据管理有了统一的元数据管理之后，就可以实现：提供持久化的元数据存储之前元数据都是在集群内部的 mysql 数据库，元数据会随着集群的释放而丢失，特别是 EMR 提供了灵活按量模式，集群可以按需创建用完就释放。如果用户需要保留现有的元数据信息，必须登录上集群手动将元数据信息导出。支持统一的元数据管理之后，不再存在该问题。能更方便...
2019-10-25 10:41:04
135
原创 叽里呱啦实习第二十二天
今日任务：1.规划整理Hive元数据开发思路2.熟悉Hive元数据表结构。Hive元数据表结构：元数据表字段 说明 示例数据1:Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）DBS：该表存储Hive中所有数据库的基本信息DB_ID 数据库ID 2PARAM_KEY 参数名 测试库 PARAM_VALUE 参数值 hdfs://namenode/u...
2019-10-23 19:21:16
488
原创 叽里呱啦实习第二十一天
20191021-201910251.规划整理Hive元数据开发思路2.熟悉Hive元数据表结构3.维护Hive元数据库表信息今日任务：登陆注册功能代码进行调错在电脑上生成ssh key，mac上存在然后通过ssh-keygen进行Overwrite配置sCRT Mac端 8.5.1注册码：Name: ygeRCompany: TEAM ZWTSerial Number: 0...
2019-10-23 09:41:42
138
原创 叽里呱啦实习第二十天
今日任务：完成登陆注册。写了以下几个类和接口：1：实体类Login，有三个私有属性 id, username,userpassword,并且给予了get,set方法，重写了equals方法和hashCode方法。2：mapper类：继承JpaRepository和JpaSpecificationExecutor,编写登陆注册的sql语句以及三个抽象方法{登陆：findByUsernameA...
2019-10-21 17:29:07
217
原创 2019-10-20
今日心得：execute(),executeQuery(),executeUpdate()和executeBatch()的使用与区别：在开发过程中，对数据库操作时，会执行各种sql语句，execute(),executeQuery()和executeUpdate要使用得当才不会报错Statement 接口提供了三种执行 SQL 语句的方法：executeQuery、executeUpdate...
2019-10-21 09:46:39
97
原创 2019-10-19
今日学习心得：在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。CookieCookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般...
2019-10-19 19:10:29
78
原创 叽里呱啦实习第十九天
NoticeServicepackage com.example.demomybatis.service;import com.example.demomybatis.entity.Notice;import com.example.demomybatis.mapper.NoticeMapper;import org.springframework.beans.factory.annota...
2019-10-18 18:34:56
170
原创 叽里呱啦实习第十八天
代码层的结构根目录：src/main/java/com/org/project-name 1.工程启动类(DemoLibraryApplication.java)置于包下2.实体类(domain)置于project-name.domain3.数据访问层(Dao)置于project-name.repository4.数据服务层(Service)置于com,project-name.se...
2019-10-18 09:15:09
214
原创 叽里呱啦实习周日
今日任务：完成删除，更新错误1：Mon Jun 04 00:53:48 CST 2018 WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements ...
2019-10-13 17:58:22
130
原创 叽里呱啦实习第十七天
错误总结：@Select没有，说明Maven依赖中缺少东西。使用时导入 org.apache.itbatis.annotations.*;想用@Service的时候需要导入org.springframework.stereotype.Service;model.addattribute()的作用：1.往前台传数据，可以传对象，可以传List,通过el表达式${}可以获取到类似于requ...
2019-10-12 18:07:08
182
原创 使用springboot实现简单的CRUD
搭建项目项目的结构还是要使用mvc模式进行搭建，那么我们需要DAO层，service层以及controller层，最后需要一个贯穿全部的实体类。DAO层为service层提供CRUD方法，service层对DAO层提供的方法进行更进一步的封装，封装成具体事务，contorller层则是对客户端的访问进行处理。实体类entity贯穿三层，进行数据的传输。那么到最后，我们的目录结构就像这样的：s...
2019-10-10 19:02:31
294
原创 叽里呱啦实习第十五天
今天接口没能写出来，昨天的错误还是没能解决，然后就写了一个StringBoot的CRUD。1:首先打开idea----然后File—new—project—Spring Initalizr ----next—然后起个名字我的是默认的（Group：com.exampleArtifact: demo）----next-----选择web中的Spring web Starter—然后一直确定就对了...
2019-10-10 18:06:26
96
原创 第一周总结
第一天安装了Idea开发工具，配置环境（git，maven）第二天了解了Ad Hoc（用户在使用系统的时候根据自己的需求进行自定义查询条件，系统根据用户自定义的条件生成相应的统计报表，与普通的查询语句不同的是，普通查询语句是定制的可以提前进行建立索引，分区进行优化，因为即席查询是临时的，所以无法进行预先优化。）第三天了解Mabatis（Mabatis是一款优秀的持久层框架，它支持定制化SQL，...
2019-10-10 10:18:17
61
原创 叽里呱啦实习第十四天
编写通知公告接口以及常见问题接口。import com.jiliguala.constant.MsgConstant;import com.jiliguala.entity.AdhocQueryInfo;import com.jiliguala.entity.QueryContext;import com.jiliguala.service.AdhocQueryService;impor...
2019-10-10 09:44:43
146
原创 叽里呱啦实习第十三天
问题：1:private static ConcurrentHashMap<String,Connection> connMap = new ConcurrentHashMap<~>();～什么意思2:private static ConcurrentHashMap<String,Set> jobMap = new ConcurrentHashMap<...
2019-10-08 18:33:00
116
原创 叽里呱啦实习第十二天
使用idea连接hive做一些简单的操作1:在伪分布式hadoop集群上启动hadoopstart-dis.sh2:启动hiveserver2hiveserver2这两个操作都要在配置了环境变量的基础上才可以执行，否则就要分别到hadoop和hive的bin目录下才可以执行。启动mysql服务1:service mysql start查看mysql服务启动状态1:service ...
2019-10-08 18:32:24
81
原创 叽里呱啦实习第十一天
配置generatorconfig.xml中的https://www.cnblogs.com/liaojie970/p/7058543.html什么是动态sql：所谓动态sql，其实就是把sql语句使用字符串组装起来，然后使用 exec 关键字来运行的 语句。如：declare @sql = ‘select 1 + 2’exec @sql这里的@sql就是动态sqlschema是对...
2019-10-08 18:31:57
100
原创 第二周总结
很感谢霏哥，帮了我很多，开始了自己第一个项目的开发，主要就是做了一个通过controller对数据库进行增删改查的功能，但是测试类还没有写出来。
2019-09-30 10:09:19
70
原创 Mac下配置JDK，Maven，Scala
java——home/Library/Java/JavaVirtualMachines/jdk1.8.0_221.jdk/Contents/Homescala——home/Users/jichonggula/Documents/scala-2.11.8maven——home/Users/jichonggula/Documents/apache-maven-3.3.9...
2019-09-27 18:11:04
104
原创 叽里呱啦实习第十天
主键：数据库主键设计之思考主键的必要性:有些朋友可能不提倡数据库表必须要主键，但在我的思考中，觉得每个表都应该具有主键，不管是单主键还是双主键，主键的存在就代表着表结构的完整性，表的记录必须得有唯一区分的字段，主键主要是用于其他表的外键关联，本记录的修改与删除，当我们没有主键时，这些操作会变的非常麻烦。主键的无意义性：我强调主键不应该具有实际的意义，这可能对于一些朋友来说不太认同，比如订...
2019-09-27 17:00:06
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人