colby_chenlun的博客

一、基础工程构建创建父工程pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/...

from hdfs.client import Clientfrom conf.settings import DFS# 关于python操作hdfs的API可以查看官网:# https://hdfscli.readthedocs.io/en/latest/api.html# client = Client(url, root=None, proxy=None, timeout=None, session=None)# client = Client("http://hadoop:500.

一、安装环境操作系统 CentOS8elasticsearch-7.7.1kibana-7.7.1机器：hadoop102、hadoop103、hadoop104、hadoop105、hadoop106二、安装elasticsearch-7.7.11、上传文件elasticsearch-7.7.1-linux-x86_64.tar.gz、kibana-7.7.1-linux-x86_64.tar.gz到/opt/software目录2、解压到/opt/module[dep.

版本选择：Hadoop-3.2.1/Hbase-2.2.5一、Zookeeper正常部署[deploy@hadoop102 module]$ zk.sh start二、Hadoop正常部署[deploy@hadoop102 module]$ start-dfs.sh[deploy@hadoop102 module]$ start-yarn.sh三、Hbase上传、解压[deploy@hadoop102 module]$ tar -xzvf hbase-2.2.5-bin.

安装Hadoop3.2.1,做基准测试的时候报以下错误[2020-05-31 19:16:40.815]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster[

这两天闲的慌，装了一下新版本的HADOOP 3.2.1，的HA，装好之后，测试wordcount程序时报下面的错误For more detailed output, check the application tracking page: http://hadoop102:8088/cluster/app/application_1590917926429_0002 Then click on links to logs of each attempt.. Failing the applicati

select day -- 时间 ,date_add(day,1 - dayofweek(day)) ...

SPU = Standard Product Unit (标准产品单位)SPU 是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述 了一个产品的特性。通俗点讲，属性值、特性相同的商品就可以称为一个 SPU。例如:iphone7 就是一个 SPU，与商家，与颜色、款式、套餐都无关。SKU=stock keeping unit(库存量单位)SKU 即库存进出计量...

B2B--企业对企业:案例:阿里巴巴、慧聪网C2C--个人对个人:案例:淘宝、易趣、瓜子二手车B2C--企业对个人:案例:唯品会、乐蜂网C2B--个人对企业:案例:海尔商城、尚品宅配O2O--线上到线下:案例:美团、饿了吗F2C--工厂到个人:从厂商到消费者的电子商务模式B2B2C -企业-企业-个人:案例:京东商城、天猫商城...

auto_nowauto_now无论是你添加还是修改对象，时间为你添加或者修改的时间，一般用作更新时间。auto_now_addauto_now_add为添加时的时间，更新对象时不会有变动，一般用作创建时间。具体案例：class BaseModel(models.Model): '''模型抽象类型''' create_time = models.DateTim...

Lateral View更新时间：2019-02-13 11:56:02编辑··我的收藏本页目录单个Lateral View语句 多个Lateral View语句Lateral View和split，explode等UDTF一起使用，它能够将一行数据拆成多行数据，并在此基础上对拆分后的数据进行聚合。单个Lateral View语句语法定义如下：latera...

1.卸载python3.5sudo apt-get remove python3.52.卸载python3.5以及它的依赖包sudo apt-get remove --auto-remove python3.53.清除python3.5要想清除python3.5的配置文件和数据文件，执行以下命令：sudo apt-get purge python3.5sudo ...

准备表CREATE EXTERNAL TABLE ods_app_log ( sdk_ver string ,time_zone string ,commit_id string ,commit_time string ,pid string ,app_token string ,app_id string ,device_id...

安装注意事项#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/app/bigdata/hadoop#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/app/bigdata/hadoop ...

Java实现UDF函数一、实现字符串到数字的转换package com.easyrong.data.function;import org.apache.hadoop.hive.ql.exec.UDF;public class NumberToChar extends UDF{ public static int byteToInt(byte b) { //...

class DBTool(object): conn = None cursor = None def __init__(self, conn_dict): self.conn = pymysql.connect(host=source['host'], port=source['p...

登录hive服务器，新建一个shell脚本，内容如下#!/bin/bash#原样输出一段文字可以用CATcat<<EOF****************************************************功能 ：实现Hive表结构备份参数 ：P1,P2,P3...创建者 ：XXXX创建日期 ：YYYY-MM-DD修改...

Hive-ORC文件存储格式转自：http://www.lai18.com/content/24596525.html?from=cancelORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache H...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/onceing/article/details/99838520冒泡排序介绍冒泡排序(Bubble Sort)，又被称为气泡排序或泡沫排序。它是一种较简单的排序算法。它会遍历若干次要排序的数列，每次遍历时，它都会从前往后依次...