2019年12月_SoWhat1412

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 SpringBoot 10、拦截器跟 WebServer的个性化配置之整合( Servlet、Filter、Listener)

拦截器跟 WebServer的个性化配置之整合( Servlet、Filter、Listener)

2019-12-27 15:10:22 1209 2

原创有意思的程序员资源与工具

1、表情包资源表情包用得好，女朋友不用找，以下资源汇集了我们常用的 1000 多个表情包。Github: https://github.com/getActivity/EmojiPackage/2、代码图片生成器Carbon 可以把你的代码转成一张精美海报的工具，我常用。Carbon 官网地址：https://carbon.now.sh/3、文档整合工具官网地址：http://dev...

2019-12-26 11:30:02 17945 4

转载 python 最新方案-解决编码错误问题：UnicodeEncodeError: 'ascii' codec can't encode characters in position

文章目录问题描述：问题原因查找：1-定位str.decode(‘utf-8’)2-定位字符编码问题3-定位print问题-就是这个问题！解决问题方法参考问题描述：相同代码在一台服务器上跑是OK的另外一个台跑则报错如下 File "/data/soft/knowledge_etl/databus-gedai-v1/schedule_job/main.py", line 270, in &lt...

2019-12-23 14:42:35 3738 1

原创 RabbitMQ Python端发送消息给Java端接受消息全数字问题

文章目录RabbitMQ接受一堆数字Bug参考RabbitMQ接受一堆数字BugPython发送端用 pika 发送消息发送代码是这样的：#!/usr/bin/python# -*- coding:utf-8 -*-import pikaimport jsoncredentials = pika.PlainCredentials('ding', 'ding')connectio...

2019-12-18 17:11:24 2278 7

原创【Hadoop】第六天 Hive

HiveHive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 re...

2019-12-14 16:42:34 2448 10

原创【Hadoop 】第五天 Hadoop-HA 搭建

问题Hadoop 1.0存在的问题：单点故障和内存受限NameNode单点故障：NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失(edits)NameNode压力大：单节点只有一个NameNode，所有的请求都访问一个NameNodeHa...

2019-12-13 18:24:32 915 16

原创 Redis面试常问点

文章目录zookeeper文件系统监听通知机制Zookeeper能做什么自己的一些理解：ZooKeeper安装下载安装包然后解压默认文件重命名修改zoo.cfg配置文件新建myid文件ZooKeeper端口解释启动zookeeper服务启动zookeeper客户端检验服务是否可用参考zookeeper官网：http://zookeeper.apache.org/ZooKeeper：是一个开...

2019-12-13 10:42:48 686 1

原创 python md5 salt 摘要算法

摘要算法Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。别的语言也都是通用的加密算法。摘要算法：通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。MD5什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。举个例子...

2019-12-12 17:26:05 746 1

原创【Hadoop】第四天 Shuffle MapReduce组件全貌

shuffle过程shuffle概念shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两个部...

2019-12-11 17:37:50 1804 3

原创【Hadoop】第三天 mapreduce的原理和编程

文章目录MapReduce概述MapReduce 原理MapperReducerWorkerMR 任务的本地运行模式YARNyarn的重要概念Yarn进程Job 提交流程图1.执行MR的命令2. MR执行流程Job 任务提交源码分析MR程序的几种提交运行模式本地模型运行集群模式运行MapReduce概述最简单的单机问题一旦涉及到大体量级迁移到分布式系统中的时候都会涉及到方方面面的各种编程，需要...

2019-12-10 13:43:28 1926 7

原创【Hadoop 】第二天 hdfs的原理和使用操作、编程

文章目录hadoop-shellNameNodeNameNode 工作特征SecondaryNameNode元数据数据的存入跟读出时候大概步骤NameNode 之元数据操作细节什么时候checkpiont（hdfs-site.xml）元数据合并(checkpoint)细节DataNodeHDFS Java编程自我理解总结FileSystem涉及思想PRC(Romote Procedure Cal...

2019-12-08 11:18:07 1913 4

原创【Hadoop】第一天 Hadoop基本概念跟原理以及安装

文章目录Hadoop集群按照，HDFS跟MapReduce自带demo演示Hadoop的由来Hadoop 干什么Hadoop在淘宝中的应用框架Hadoop 生态系统Hadoop 版本Hadoop 核心组件海量数据的存储用HDFS海量数据任务的分析MapReduce海量任务的调度 YARNHadoop 特点Hadoop 1.0跟2.0差别Hadoop 部署方式Hadoop 伪分布式搭建Hadoop...

2019-12-07 10:02:18 2187 6

转载 ROW_NUMBER() OVER() 函数用法详解分组排序

语法格式：row_number() over(partition by 分组列 order by 排序列 desc)row_number() over()分组排序功能：在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。例一：表数据：...

2019-12-04 09:48:41 15002 4