- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 利用SQL对拍拍贷数据进行逾期分析
一、分析背景和目的拍拍贷成立于2007年6月，总部位于国际金融中心上海，是中国第一家网络信用借贷平台。与国内其他P2P平台相比，拍拍贷的最大特点在于采用纯线上模式运作，平台本身不参与借款，而是实施信息匹配、工具支持和服务等功能，借款人的借款利率在最高利率限制下，由自己设定。而这也是P2P网贷平台最原始的运作模式。随着多年的经验积累，拍拍贷不管是在贷款总额上还是在风控方面都有所提高，而且目前基于...
2019-11-08 12:56:39
3292
2
原创 lending club 贷款逾期分析
一、分析背景和目的Lending Club是P2P界的鼻祖，创立于2006年，主营业务是为市场提供P2P贷款的平台中介服务，公司总部位于旧金山。P2P 是一种将小额资金聚集起来借贷给有资金需求人群的一种民间小额借贷模式。Lending Club就是专业直接连接了个人投资者和个人借贷者，通过此种方式，缩短了资金流通的细节，尤其是绕过了传统的大银行等金融机构，使得投资者和借贷者都能得到更多实惠、更快...
2019-11-07 21:29:02
1378
原创 sqoop从mysql导入到hive报错
19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Transferred 32 bytes in 48.8243 seconds (0.6554 bytes/sec)19/07/07 04:33:06 INFO mapreduce.ImportJobBase: Retrieved 2 records.19/07/07 04:33:06 INFO m...
2019-07-06 21:27:49
410
原创 HIVE学习整理（1）——基础篇
一、Hive概述1.1 hive概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS；2）Hive分析数据底层的实现是MapReduce；3）执行程序运行在Yarn上。1.2 hive优缺点分析优点：1）操作接口采用类SQL语法，提供快速开发...
2019-06-09 23:23:10
164
原创 Zookeeper学习整理
一、概述1.1 概述Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。1）Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。2）Leader负责进行投票的发起和决议，更新系统状态。3）Follower用于接收客户请求并向客户端返回结果，在选举Leader过程中参与投票。4）集群中只要有半数以上节点存活，Zo...
2019-06-05 21:41:43
176
原创 MapReduce学习整理（3）——压缩篇
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。
2019-05-27 18:09:06
191
原创 配置文件整理
存储路径：/opt/module/hadoop-2.7.2/etc/hadoophdfs-site.xml必须配置<!--指定HDFS副本的数量--><property> <name>dfs.replication</name> <value>1</value> ...
2019-05-09 11:29:08
149
原创 Hadoop常用操作整理
多目录设置NameNode多目录设置namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。操作流程1）配置hdfs-site.xml新增下述内容<property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}...
2019-05-08 14:58:28
354
原创 JAVA学习整理——正则表达式
正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
2019-05-07 15:43:32
149
原创 Xshell无法访问虚拟机
1 问题描述虚拟机IP设置：192.168.30.130Vmware workstation VMnet8子网设置：192.168.30.0Xshell 连接反馈：Connection failed通过xsell ping虚拟机无法ping通2 问题根源重新设置虚拟机网络，将虚拟机与电脑网络设置成同一网络。3 后遗症由于更改了虚拟机的IP，导致原有的host对应发生了变化，在进行集...
2019-05-06 10:22:28
323
原创 JAVA学习整理——容器
1.容器概述1.1容器定义Java容器类类库的用途是保存对象，可以将其分为2个概念。1.1：Collection一个独立元素的序列，这些元素都服从一条或多条规则。其中List必须按照插入的顺序保存元素、Set不能有重复的元素、Queue按照排队规则来确定对象的产生顺序（通常也是和插入顺序相同）1.2：Map一组成对的值键对对象，允许用键来查找值。ArrayList允许我们用数字来查找...
2019-04-16 15:47:53
232
原创 JAVA学习整理——数组
1.数组概述数组是相同类型数据的有序集合。数组描述的是相同类型的若干个数据，按照一定的先后次序排列组合而成。其中，每一个数据称作一个元素，每个元素可以通过一个索引(下标)来访问它们。数组的三个基本特点：长度是确定的。数组一旦被创建，它的大小就是不可以改变的。其元素必须是相同类型，不允许出现混合类型。数组类型可以是任何数据类型，包括基本类型和引用类型。2.数组声明//声明方法一in...
2019-04-12 22:36:35
231
原创 JAVA学习整理——异常机制
异常指程序运行过程中出现的非正常现象，例如用户输入错误、除数为零、需要处理的文件不存在、数组下标越界等。在Java的异常处理机制中，引进了很多用来描述和处理异常的类，称为异常类。异常类定义中包含了该类异常的信息和对异常进行处理的方法。
2019-04-12 11:26:02
156
原创 HDFS命令行操作和客户端操作整理
1 命令行操作1.1 基本语法bin/hadoop fs 具体命令1.2 参数大全[root@hadoop2 hadoop-2.7.2]# bin/hadoop fs[-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ....
2019-03-30 15:43:03
279
原创 三节点Hadoop集群搭建
三节点集群搭建与伪分布式类似，为减少部署安装的程序可以直接将原来搭建伪分布式的服务器上的内容拷贝或同步到三个节点上。如果未搭建过伪分布，则可以先部署一台服务器然后拷贝或同步到其他服务器。
2019-03-21 16:46:43
338
原创 伪分布式Hadoop集群搭建备忘录
1 JDK与Hadoop安装1.1 建立文件夹在/opt/目录下创建文件夹module和software。software用于上传jar包，文件解压到module目录下。1.2 上传jar包1.3 解压jar包** tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module tar -zxvf jdk-8u201-linux-x64.tar.gz -C /...
2019-03-18 15:18:34
272
原创 虚拟机玩机备忘录
玩虚拟机也有段时间了，写一篇文章来整理一下自己在玩虚拟机时碰到的问题以及整理一下备忘录。主要包括：常用命令、基本软件、常用设置等内容。
2019-03-16 16:16:05
209
log4j.properties
2019-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人