我也要用- 博客(190)
- 资源 (13)
- 论坛 (3)
- 收藏
- 关注
RSS订阅
原创 浅谈管理数据平台的一些想法
前言：对于任何使用大数据技术的公司来说，大数据平台特别是Hive来说，维护其高效快速的运行，对整个公司的运作来说至关重要。比如说：某个调度任务失败了造成业务部门的某些报表无法正常产出；hive平台最近速度下降了，造成业务跑sql，跑半天不出结果，进而发起投诉等等。对于数据平台来说任何一个小的事故轻则造成公司的运行效率降低，重则使整个公司的业务运行异常（异常可能不会被立刻发现）等等，可以夸张点的说...
2020-04-18 22:17:53
261
原创 Linux常用命令总结
系统目录结构 bin (binaries)存放二进制可执行文件 sbin (super user binaries)存放二进制可执行文件，只有root才能访问 etc (etcetera)存放系统配置文件 usr (unix shared resources)用于存放共享的系统资源 home 存放用户文件的根目录 root 超级用户目录 dev...
2017-09-23 22:06:51
705
原创 申请评分卡（A卡）的开发过程（1）
前言：本篇文章上接《申请评分卡简介》，有需要的童鞋可以参考下：https://blog.csdn.net/qq_16633405/article/details/107744921下面介绍下A卡的开发步骤。开发过程1、评分卡模型开发步骤：1、立项：场景（营销、信贷领域）、对象（个人、账户、公司）、目的（程度决策、流失预警、反欺诈等等）2、数据的准备与预处理（账户，客户，内部外部数据）3、建模的构建（逻辑回归VS机器学习，单一模型VS 集成模型）4、模型评估（区分度，预测性，稳定性）5、验证
2020-08-23 14:17:10
378
原创 linux生产环境下安装anaconda总结
前言：工作中，常常要在新的linux生产服务器中安装自己的集成python环境，这种情况下有一点需要注意：不能覆盖生产服务器中的python环境（也就是自己的python环境要和系统的python环境分开）。一般情况下系统自带的python环境一般为2，而我们需要的python环境一般为3。并且生产服务器一般是安全等级比较高的，一般是断网的状态，这也就意味着所有的安装操作都要手动进行（PS：一行指令的事就此变成漫长的折腾）。为了顺利完成安装python3的环境，就需要你事先做好准备，不然把生产环境搞出问
2020-08-15 15:23:30
147
原创 互联网金融行业申请评分卡（A卡）简介
文章目录前言基本概念1、信用违约风险的基本概念什么是信用违约风险：组成部分违约的主体个贷中常用的违约定义M0，M1，M2的定义2、申请评分卡的重要性和特性信贷场景中的评分卡申请评分卡的概念为什么要开发申请评分卡评分卡的特性 （一个人的信用分数由两部分组成：还款能力和还款意愿）贷前准入环节中申请评分卡的流程总结：前言最近会总结下我了解到的互金行业各个评分卡的知识，包括但不限于A,B,C卡以及相关的业务知识和用到的技术。很早之前就有这样的想法，最近刚好有这样的机会，就简单记录下。如果有问题，请大家及时指正。
2020-08-02 16:11:40
221
原创 win10下安装pyspark及碰到的问题
文章目录前言安装过程Q1总结：前言最近由于工作需要，需要了解下pyspark，所以就在win10环境下装了下，然后在pycharm中使用的时候碰到了一些问题。整个过程可谓是一波三折。下面一一道来。安装过程安装过程就不详细说了，网上一搜一大堆，这里写下自己参考的博文：https://blog.csdn.net/w417950004/article/details/77203501安装好之后如何在pycharm中使用？网上有文章说要在对应的文件中配置相关的spark_home地址等。详情参考：h
2020-08-02 14:21:45
208
转载 SQL中基于代价的优化
还记得笔者在上篇文章无意中挖的一个坑么？如若不知，强烈建议看官先行阅读前面两文－《SparkSQL Join原理》和《Join中竟然也有谓词下推?》第一篇文章主要分析了大数据领域Join的三种基础算法以及各自的适用场景，第二篇文章在第一篇的基础上进一步深入，讨论了Join基础算法的一种优化方案 – Runtime Filter，文章最后还引申地聊了聊谓词下推技术。同时，在第二篇文章开头，笔者引...
2020-04-05 17:31:08
655
转载 Spark&HiveSQL中Join操作的谓词下推？
前言：SparkSQL和HiveSQL的Join操作中也有谓词下推？今天就通过大神的文章来了解下。同样，如有冒犯，请联系。正文上文简要介绍了Join在大数据领域中的使用背景以及常用的几种算法－broadcast hash join 、shuffle hash join以及sort merge join等，对每一种算法的核心应用场景也做了相关介绍，这里再重点说明一番：大表与小表进行join会使...
2020-04-03 21:12:28
241
转载 SparkSQL之Join原理
文章目录前言：Join背景介绍Join常见分类以及基本实现机制Hash JoinBroadcast Hash JoinShuffle Hash JoinSort-Merge Join总结前言：写SQL的时候很多时候都有用到join语句，但是我们真的有仔细想过数据在join的过程到底是怎么样的吗？今天借这位大神的文章来交接下sql中join的原理。同样，如有冒犯，请联系。Join背景介绍Jo...
2020-04-02 21:46:30
1014
转载 SparkSQL-从0到1认识Catalyst
文章目录前言正文预备知识－Tree&RuleCatalyst工作流程ParserAnalyzerOptimizerSparkSQL执行计划前言这篇文章是转载一位大神的文章，为什么要转载的，实在是因为写的太经典了，所以忍不住希望能有更多的人可以看到。如有冒犯请联系我。正文最近想来，大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化...
2020-04-01 22:01:34
202
原创 Git常用指令及功能总结
前言：最近有些懒，加之又被一些琐事缠身，所以博客就更的比较慢，后面还是保持一个月最少2-3篇的频率，分享一些最近学的东西，希望我们能一起成长。今天就简单介绍下常用的Git指令吧，主要适用于那些刚需这些指令完成某些需求的人群。博主也是小白一个，主要分享下一些常用的功能吧。1、常用的git指令git clone git@192.168.2.252:hadoop/rce.git //用于将远...
2019-12-28 16:36:27
107
原创 Linux命令三剑客：grep、sed、awk总结
最近看到了几篇关于linux命令grep、sed、awk的文章，这里总结下，方便后面使用。一、grepgrep命令（grep的全称：Global search Regular Expression and Print out the line）主要用于文本内容的查找。它支持正则表达式查找。命令语法grep提供两种方式：◆ grep [option] [pattern] testfile...
2019-09-28 15:31:28
427
原创 Python开发中收集的一些常用功能Demo
前言：虽然之前自学了些Python基础，但是一段时间没用再加上学的时间也比较短，搞的现在重拾Python写代码的时候，总要去查一些API（还是Coding不够，仍需多加实践），但整个过程又比较耗时。所以就准备把之前以及以后遇到的一些常用的功能Demo给记录下来，方便自己后来查看。此文章会不定时一直更新。1、Python判断文件是否存在的几种方法：通常在读写文件之前，需要判断文件或目...
2019-08-17 14:40:24
670
1
原创 导入Anaconda中的第三方库运行时报错：ImportError: Missing required dependencies ['pandas']
今天碰到一个大坑，花了大半天才搞明白问题出在哪来。事情的经过是这样的：博主下午手贱把已将装好anaconda2给卸载了（同时装了2和3），然后再次安装anconda2后，却发现配置完pycharm的解释器后，代码报错：:ImportError: DLL load failed:“xxxx模块没发现”或者ImportError: Missing required dependencies [‘XXX...
2019-08-11 00:11:11
2247
原创 azkaban的操作指南
前言：最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。1、工作流调度系统的优势一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了...
2019-08-03 15:10:25
517
原创 Azkaban简介及安装教程
前言：最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强。下面就写个系列文章来记录下azkaban从简介及安装配置再到简单使用的一个过程。1、概述1.1、为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先...
2019-08-03 14:27:20
288
原创 Python第三方库的安装及路径查看总结
文章目录1、python第三方库的四种安装方法2、更换安装的第三方库的镜像源3、如何查看查看python安装路径以及pip安装的包列表及路径3.1、Linux环境下查看Python路径3.2、查看使用pip安装的软件包3.3、Windows 环境 查看Python路径实际工作中，经常会在公司的服务器中面临网络限制之类的问题，这时候平常的pip指令安装第三方库的简单操作就行不通了。刚好最近就碰到这...
2019-07-27 17:30:22
9371
原创 Pandas常用操作总结
文章目录前言1、DF常用的两种创建方式方式一：通过np来生成方式二：通过字典来生成2、pandas常用的属性及方法3、Pandas Select(数据选择)方法三：混合选择方法四：#通过判断选择部分数据4、Pandas Set_values设置值5、Pandas Nan处理缺失值方法一：剔除缺失值所在的行或列方法二：填充Nan值方法三：显示Nan值的位置，做进一步处理6、Pandas导入导出数据7...
2019-06-13 21:51:48
1803
原创 Mysql面试热身题集总结
前言一直有个想法：把面试需要的知识点全都总结一下，包括数据库，语言，算法，数据结构等知识，形成一个面试总结笔记，这样以后面试的时候只看这些文章回顾下就行了。今天就先总结下Mysql的面试热身题吧，后续会总结其他方面的点。当然，文章同样会不定时更新。热身题1、热身题实践说明：以下五十个语句都按照测试数据进行过测试，最好每次只单独运行一个语句。问题及描述：--1.学生表Student(S...
2019-06-10 22:31:31
1360
4
原创 浅谈互联网寒冬与经济形势
作为刚进入职场一年多的小白来说，刚准备好好“生长”，却碰到这股互联网寒冬，也感到鸭梨山大。也许有人认为我在贩卖焦虑，但是现实真的很严峻。接下说下过去一年的经历和所见所闻吧，记录下这“寒冷”的时刻。一位金融圈内的人士在一切没发生之前有预言：业界会接连发生1、暴雷；2、裁员；3、产业链断裂…前两条都应验了，如果第三条发生了，结果会有多恐怖。去年7-8月份，全国互金行业频繁暴雷，刚好有同事就经历了这...
2019-05-31 17:13:03
786
原创 Python基础总结之常用内置方法总结
文章目录前言1、str1.1、内置方法：1.2、常用的内置方法1.3、String模块的一些方法2、list2.1、内置方法2.2、常用内置方法3、tupple3.1、内置方法3.2、常用内置方法4、dict4.1、内置方法4.2、常用内置方法小礼物几个sort的使用前言由于一些原因，好久没更博客了，接下来会陆续总结出一些包含各方面的基础知识的文章（如数据库、Python、数据挖掘等），算是作...
2019-05-11 15:54:53
494
原创 Python基础常见面试题总结
以下是总结的一些常见的Python基础面试题，帮助大家回顾基础知识，了解面试套路。会一直保持更新状态。PS：加粗为需要注意的点。基础知识题1、深拷贝和浅拷贝的区别是什么？深拷贝是将对象本身复制给另一个对象。这意味着如果对对象的副本进行更改时不会影响原对象。浅拷贝是将对象的引用复制给另一个对象。因此，如果我们在副本中进行更改，则会影响原对象。**2、能否解释一下 *args 和 kwar...
2019-03-08 16:36:40
18856
原创 智能外呼系统相关资料总结
以下是从零开始搭建智能外呼系统的过程中收集的一些资料，希望对你会有帮助。1、如何从零开始搭建智能外呼系统参考：https://blog.csdn.net/pA2elX78qaJTADH/article/details/813515972、国内外优秀呼叫中心系统简介参考：https://blog.csdn.net/moonpure/article/details/762629383、Fre...
2019-02-26 14:44:34
2463
原创 Freeswitch之ASR（语音识别）总结大全
在做智能外呼的时候要做智能交互的功能，所以就了解了些ASR相关的功能，这里分享下留下的一些资料。根据FS权威指南中Freeswitch使用的第三方模块进行试验，但是效果很不理想，所以如果你想要一个准确率比较好的效果，就需要自己训练声音模型。1、使用Pocket Sphinx进行英文语音识别参考：https://wsonh.com/article/60.html2、PocketSphinx语音...
2019-02-26 09:34:53
7753
原创 Freeswitch总结大全
文章目录1、Freeswitch安装2、Freeswitch中文文档3、Freeswitch的event socket event list的中文简介4、freeswitch之sip协议的注册、呼叫、挂断流程5、Freeswitch之mod_cdr_csv6、一款第三方收费的mod_vad（看介绍挺不错的，有做语音交互的童鞋可以看下）7、FreeSWITCH通过迅时网关连接PSTN8、老李写的Fr...
2019-02-25 15:38:41
10688
1
原创 Pycharm常用高效技巧总结
1、PyCharm如何自动生成函数注释一般在函数def()行下敲三次回车，然后手动添加说明def xxx(self, x1, x2, x3): """ :param x1: :param x2: :param x3: :return: """2、pycharm运行程..
2018-11-25 15:05:36
522
原创 Mysql常用函数总结
前言：工作中总会和mysql打交道，这里总结下一些常用的函数功能及需求实现。后续会不断更新。1、mysql获取未来、现在、过去的时间：DATE_SUB（）#当前日期select DATE_SUB(curdate(),INTERVAL 0 DAY) ;#或者 NOW()#明天日期select DATE_SUB(curdate(),INTERVAL -1 DAY) ;#昨天日期sel...
2018-11-25 14:36:09
648
原创 Linux执行定时任务（crontab）遇到的坑
前言：之前第一次要在生产环境部署定时任务，无奈的是，博主对定时任务这块还是个小白，但是任务却需要部署一连串的定时任务，前后的定时任务之间还有关联。。。由于数据采集的时间有特殊要求，所以整个流程就挺恶心的更别说部署了，部署之后有想过用Azkaban来串联多个定时任务，但是由于其他原因也没来得及实践，这里记录下期间遇到的坑。刚开始实现第一个crontab定时任务时，就遇到很多问题。这里参考了网上的...
2018-11-23 15:37:09
8874
原创 玩Azkaban跳过的坑
文章目录一号坑：启动Azkaban报错：User xml file conf/azkaban-users.xml doesn't exist.二号坑：报错：failed SslSocketConnector@0.0.0.0:8443: java.io.FileNotFoundException: /home/hadoop/app/azkaban/azkaban-web-2.5.0/bin/keys...
2018-11-13 15:38:54
4679
3
原创 机器学习之LDA主题模型算法
文章目录1、知道LDA的特点和应用方向1.1、特点1.2、应用方向2、知道Beta分布和Dirichlet分布数学含义3、了解共轭先验分布4、知道先验概率和后验概率5、知道参数α值的大小对应的含义6、掌握LDA主题模型的生成过程7、知道超参数α等值的参考值8、LDA总结1、知道LDA的特点和应用方向1.1、特点知道LDA说的降维代表什么含义：将一篇分词后的文章降维为一个主题分布（即如20个特...
2018-10-01 21:31:04
4993
原创 玩大数据期间碰到的一些问题总结
问题一：Zookeeper节点数量为什么建议是奇数个？原因是：“Zookeeper集群，当有一半以上的节点数在工作中的时候，集群才对外服务”。怎么理解上面这句话呢，用实验数据说话：实验一：设置节点数量为偶数 4， 启动 2 个节点。观察结果：集群不对外服务启动 3 个节点。观察结果：集群开始对外服务实验二：设置节点数量为奇数个 5启动3个节点。观察结果：集群开始对外服务总结：Zo...
2018-09-26 09:25:40
550
原创 使用IntelliJ IDEA碰到的问题总结
文章目录问题一：无法创建Java Class文件问题一：无法创建Java Class文件今天打开项目时，发现右击新建不了java.class文件，于是尝试了以下方法：（1）选择 File——>Project Structure——>Project Settings——>Modules：（2）选择该项目的java存放的文件夹，将其设置为源文件，点击OK,apply即可...
2018-09-25 17:19:38
1250
原创 HA机制的大数据集群的搭建过程
集群规划说明：1、在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数...
2018-09-21 17:29:41
335
原创 机器学习之朴素贝叶斯算法的推理及相关知识总结
1、朴素贝叶斯公式1.1、贝叶斯公式的应用2、了解贝叶斯网络2.1、知道什么是贝叶斯网络贝叶斯网络又称为有向无环图模型，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量（X1,X2,X3…Xn）及其n组条件概率分布的性质2.2、贝叶斯网络的两种表示形式2.3、掌握全连接的贝叶斯网络的公式p(x1,x2…,xk)=p(xK|x1,…,xK-1)…p(x2|x1)p(x...
2018-09-19 20:38:16
293
2
原创 机器学习之EM算法的原理推导及相关知识总结
文章目录1、知道先验概率和后验概率2、了解高斯混合模型GMM3、通过最大似然估计推导EM算法的过程的实例4、EM算法5、知道pLSA模型1、知道先验概率和后验概率先验概率（prior probability）是指根据以往经验和分析得到的概率（理解为自定义概率）。而后验概率是在考虑了一个事实之后的条件概率。2、了解高斯混合模型GMMEM是K-means的推广以下的两个问题都是属于无监督学习...
2018-09-17 20:34:16
507
原创 机器学习之聚类算法的原理推导及相关知识总结
1、知道几个关于”差”的概念2、理解相似度度量的各种方法和相互关系2.1、欧氏距离2.2、jaccard相似系数2.3、余弦相似度2.4、Pearson相似系数3、掌握掌握K-Means算法3.1、知道聚类的思想3.2、K-Means算法原理3.3、知道K-Mediods聚类3.4、如何选取K-means的初始值3.5、K-means的目标函数4、知道聚类的衡量...
2018-09-15 17:00:54
569
原创 机器学习之支持向量机（SVM）总结
目录：1、知道SVM相关的各种概念2、知道目标函数、损失函数、正则项的意义2.1、目标函数2.2、损失函数2.3、正则化（添加噪音避免过拟合）3、了解SVM算法原理4、知道SVM的目标函数5、知道SVM的损失函数以及公式6、知道SVM支持向量机的计算过程6.1、推导过程：6.2、推导实例7、了解核函数相关知识8、了解SVM算法的调参技巧目录：...
2018-09-12 20:39:35
809
原创 机器学习之提升算法
1、知道提升、梯度提升是什么意思1.1、提升1.2、梯度提升1.3、了解提升算法的过程2、残差与残差平方和（residual sum of squares）3、了解GBDT算法4、了解XGBoost算法5、了解Adaboost算法5.1、Adaboost算法的原理5.2、例子6、偏差和方差1、知道提升、梯度提升是什么意思1.1、提升每一步产生一...
2018-09-10 20:07:09
390
原创 机器学习之决策树与随机森林
目录1、了解熵、条件熵、互信息的概念及公式1.1、熵1.2、条件熵1.3、信息增益/互信息2、了解决策树2.1、了解决策树的概念和特点以及和熵的关系2.2、了解树生成的过程2.3、了解决策树三种算法的区别2.4、了解决策树的损失函数2.5、了解解决决策树过拟合的方法2.6、了解后剪枝的过程3、了解Bagging和随机森林4、掌握样本不均衡常用的处理方法...
2018-09-02 22:30:02
413
原创 机器学习之回归总结
目录1、了解线性回归2、了解似然函数3、了解交叉验证的原理4、梯度下降算法1、批量梯度下降算法（Batch Gradient Descent，简称BGD）：2、随机梯度下降算法（SGD）：3、折中：5、了解一些参数指标6、了解Logistic回归7、了解最小二乘法目录1、了解线性回归当只有一个变量的时候，可以表示为下面的式子。 当为多个特征...
2018-09-02 16:52:05
592
中国计算机学会推荐各种国际学术会议和期刊目录
2018-06-01
Linux命令大全.chm版下载
2017-10-21
mysql-connector-java-5.1.32.jar
2017-10-18
SecureCRT7.3.3 x64(SSH工具)
2017-09-27
春雨里de太阳的留言板
发表于 2020-01-02 最后回复 2020-01-02
CSDN访问量多天不变
发表于 2018-10-12 最后回复 2018-10-12
正在写一款APP，刚遇到的buger怎么解决？求大神帮解答
发表于 2016-08-11 最后回复 2016-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝