- 博客(13)
- 收藏
- 关注
RSS订阅原创 neo4j创建lucene索引hang住，进程崩溃
背景：在一次测试环境图库新增节点属性的需求后，再重启图库，其他操作都正常运行，但是在新建lucene索引时，图库卡住，在前端页面尝试，页面一直在转圈，在shell端执行直接卡住不动，此时通过neo4j stop命令已经无法停止图库，只能强制杀死服务解决步骤：查看图库日志，并没有报错和异常信息，后重启图库，并重新导入数据，再新建lucene索引依旧不行怀疑是图库配置的问题，后把测试环境的图库配置按照线上配置进行比对并修改，再重启图库，此问题依然存在，后将线上图库目录原封不动的scp到测试环境，重试以
2022-04-25 11:46:44
441
原创 hive中文注释乱码问题解决
Hive(1.2.0)中文注释乱码问题解决1.解决desc乱码问题修改hive元数据信息1.1 将 hive 数据库默认编码改成 latin1alter database hive default character set latin1 1.2 修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) ch...
2020-01-06 10:03:19
341
原创 hadoop集群的安装和部署（完全分布式运行模式）
1、Hadoop运行环境的搭建1.1 虚拟机环境准备1.克隆虚拟机2.修改克隆虚拟机的静态IPvim /etc/sysconfig/network-scripts/ifcfg-eth03.修改克隆虚拟机的主机名vim /etc/sysconfig/network4.修改hosts文件sudo vim /etc/hosts在后面添加如下内容192.168.x.xxx 主机名11...
2019-03-06 08:45:06
1445
原创 shell脚本语法（二）
1、read读取控制台输入1．基本语法read(选项)(参数)选项：-p：指定读取值时的提示符；-t：指定读取值时等待的时间（秒）。参数变量：指定读取值的变量名2．案例实操（1）提示7秒内，读取控制台输入的名称[zhao@hadoop101 datas]$ touch read.sh[zhao@hadoop101 datas]$ vim read.sh#!/bin/ba...
2019-03-03 18:08:30
456
原创 shell脚本语法(一)
1、 shell中的变量1.1 系统变量1.常用系统变量$HOME、 $PWD、 $SHELL、 $USER等2.案例实操（1）查看系统变量的值[zhao@hadoop101 datas]$ echo $HOME/home/zhao（2）显示当前Shell中所有变量：set[zhao@hadoop101 datas]$ setBASH=/bin/bashBASH_ALI...
2019-03-03 17:44:13
508
原创 shell脚本的相关知识
一、 shell概述shell是一个命令行解释器，它接受应用程序/用户命令，然后调度操作系统内核。shell还是一个功能非常强大的编程语言，易编写，易调试，灵活性强二、 shell解析器（1）Linux提供的Shell解析器有：[zhao@hadoop101 ~]$ cat /etc/shells/bin/sh/bin/bash/sbin/nologin/bin/dash/...
2019-03-03 16:17:08
110
原创 数据仓库之数据同步策略
一、表的种类及其概念：一般情况下表分为三个类型，分别是实体表、维度表和事务表1.实体表：实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。2.维度表：维度表，一般是指对应一些业务状态，代码的解释表。也可以称之为码表。比如地区表，订单类型，支付方式，审批状态，商品分类等等。维度表可以分为两类：一般维度表和固定维度表一般维度表的数据是不断增加和变化的固定维度表的...
2019-03-02 15:17:59
2768
1
原创 拉链表
1 什么是拉链表拉链表，记录每条信息的生命周期为单位，一旦条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。如果当前信息至今有效，在生效结束日期中填入一个极大值（如9999-99-99 或者 9999-12-31）。2 为什么要做拉链表1 、 需要查看某些业务信息的某一个时间点当日的信息 。2 、 数据会发生变化，但是大部分是不变的。（无法做每日增量）3...
2019-03-01 16:10:46
1432
转载 让hive和spark支持json的解析
https://github.com/rcongiu/Hive-JSON-Serde 把对应的json-serde-1.3.8-jar-with-dependencies.jar包拷贝到hive/lib目录下和 spark/jars/目录下在建表语句中使用row format serde ‘org.openx.data.jsonserde.JsonSerDe’...
2019-02-28 14:53:07
1180
原创 数仓分层
数据仓库和数据仓库分层1 数据仓库的概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括...
2019-02-28 14:46:52
23345
2
原创 Flume（自定义拦截器）
flume(自定义拦截器)1、在pom.xml文件中导入依赖 <!-- flume核心依赖 --> <dependency> <groupId>org.apache.flume</groupId
2019-02-28 14:34:07
1610
原创 Nginx的搭建
Nginx的搭建一、什么是nginx1.定义：Nginx (“engine x”) 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。2.nginx与tomcat之间的关系除了tomcat以外，apache,nginx,jboss,je...
2019-02-28 13:12:00
1024
原创 hive的安装和简单使用
Hive的安装和简单应用hive的安装1 hive的安装地址2 hive的安装部署3 将本地的文件导入到hive案例4 MySql的安装hive的安装1 hive的安装地址1.hive 官网地址 link2.下载地址 link2 hive的安装部署1.hive的安装及配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下...
2019-02-28 08:33:54
513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人