- 博客(97)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 统一OLAP查询平台之语义层
背景：数据开发过程中，如果对分析指标理解有偏差将直接导致整个数据链路的返工，如何以最小代价应对分析指标的合理变动？同时，面对海量数据分析如何提高查询性能？这些问题都可以通过统一OLAP查询平台来解决。一、数据从需求到加工过程中痛点从下图1-1看出数据开发的一般过程：由业务方提出各种指标的分析需求。产品和应用讨论分析指标，并拉上数仓和业务一起确认指标。数仓理解指标，并开始数据加工。首先，从ODS层开始对数据进行抽取、清洗、加工。其次，在DW层进行建模及简单指标计算。最后，输出结果表到ADS层。应用
2022-01-07 13:23:36
383
原创 浅析GBDT+LR
1.前言最近在做的项目中，一直用到了GBDT+LR算法模型来做二分类，好好梳理了下。下面介绍下这个算法。先来解答下面三个问题。GBDT+LR模型是什么：是一种具有stacking思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于Facebook 2014年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。GBDT+LR模型常用在哪：GBDT+LR 使用最广泛的场景是CTR广告点击率预估，即预测当给用户推送的广告
2021-04-12 01:52:37
1931
原创 来杭这些年--2021年记流水账
1. 简述2020年，疫情当道，时光飞速，2020年9月25日，我结束了研究生毕业后的第一份国企工作，于28日进入阿里巴巴CRO线（原安全部）工作，成为一名高级数据研发人员。从一名团队管理人员，重新回到一线代码岗位。匆匆一年，聊以记录。国企3年从研究生毕业后回顾，2017年7月3日，进入中通服下某咨询设计院工作，进入之时岗位是数据挖掘与分析研发人员，头一年也是不紧不慢做着研发工作，完成深度学习相关知识学习及分享，完成大数据+机器学习平台的demo等，以及做好数据分析工作。3年一直跟进浙江电信业务，
2021-02-17 00:43:06
243
转载 常见的六大聚类算法
K-Means(K均值)聚类算法步骤：(1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。(2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。(3) 计算每一类中中心点作为新的中心点。(4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点，然后选择运行结果最好的一个。下图演示了K-Means进行分类的过程：优点：速度快，计算简便..
2020-07-14 23:46:24
1184
原创 我的第一份到手发明专利证书
13年做的内容，14年完成的专利初稿，15年申请，审了2次，19年才授权。第一份能直接到自己手上的发明专利证书，哈哈哈。上学时候写的，最后连这纸头都没碰到。...
2019-04-28 23:22:27
547
转载 tensorflow学习笔记--深度学习中的epochs，batch_size，iterations详解
深度学习框架中涉及很多参数，如果一些基本的参数如果不了解，那么你去看任何一个深度学习框架是都会觉得很困难，下面介绍几个新手常问的几个参数。batch深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为...
2019-02-07 22:12:25
2375
原创 Ubuntu14下Auto-sklearn安装调试总结
1. 说明 本次调试目的：因为公司内部需要做一个算法比较，顺带学习使用该技能，因为太久没有更新博客，本次调试运用为主，原理之后空了再深究 2. 原理篇 2.1什么是auto-sklearn 图1 ：Auto-sklearn框架结构（图摘自2015年的论文，此时只支持分类，现在的版本添加了回归）Auto-sklearn是一个自动化机器学习框架，结构如图1所示，用户只要输...
2018-05-10 21:28:27
4553
4
转载 hive2.1.1 部署安装
为了备注，转了这篇文章，折腾好久，就这篇搞定了。安装hive 之前，要保证hadoop安装成功，本教程对应的是hadoop版本为2.6.4,hive 版本为 2.1.1，默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库一、下载Hive 下载地址：https://m
2017-12-12 15:45:52
627
转载 在shell下，用命令将U盘挂载到ubuntu上，并将文件copy到U盘里面
为什么转载：怕自己忘啊首先将鼠标定位到ubuntu上，然后插上U盘，这时候先用指令： fidsk -l查看一下U盘，（这是应该有一个盘符了）（1）有的话就可以跳过此步骤： 在虚拟机的VM->snapshot-.>找到你的U 盘符，点击上面的connect（1）如果没有的话，就尽享下面的步骤：首先使用命令查看是那个分区，在U盘插入前后，各使用一次下面的命令 cat /proc/part
2017-05-15 13:05:02
3979
翻译 TensorFlow和深度学习入门教程（TensorFlow and deep learning without a PhD）
前言上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络，并把其PPT的参考学习资料给了我们， 这是codelabs上的教程：《TensorFlow and deep learning,without a PhD》 当然登入需要翻墙，我也顺带巩固下，做个翻译，不好之处请包含指正。当然需要安装python，教程推荐使用python3。如果是Mac，可以参考博主的另外两片博文，Mac下
2017-04-04 21:47:22
21932
10
转载 Mac安装tensorflow1.0
前言Mac下安装tensorflow1.0 博客上一艘一大堆，想想就不自己写了，直接转载别人的吧。 当然要先安装好python喽，如果是用自带的python2.7，直接按照转载的内容操作就好。 如果高更新到python3，可以参考博主的Mac下升级python2.7到python3.6以下内容为转载：在Mac系统上安装tensorflow，由于MacOS也是基于Unix系统的，所以比较简单。在其
2017-04-04 10:39:33
3322
原创 回来啦
3月27号提交了论文，空下来坐等结果啦。可以回来码博客了。今天mac更新自带的python2.7到python3.6。废了一天时间，终于用pip3安装好了tensorflow，明天整理一下。你好2017，你好4月，你好春天。
2017-04-02 23:52:49
451
转载 几种深度学习库的整理
本文总结了Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、Haskell、.NET、R等语言的深度学习库，赶紧收藏吧！ PythonTheano是一个Python类库，用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法变得简单。在它基础之上还搭建了许多类库。 1.Keras是一个简洁、高度模块化的神经网络库，它的设计参
2016-12-01 22:30:04
2115
转载 mysql索引优化面试题
今天被面试到一个mysql索引的问题，没答出来。看了下文后，应该是用复合索引。本文转自：http://www.cnblogs.com/hephec/p/4557053.html建设数据库的优化大概主要就是索引的优化了吧，因为我们不可能修改数据结构的情况下，提高数据库的查询效率似乎也只能用索引了。当然这也是建立在你sql语句写的比较科学的情况下，如果你的sql语句本身就写的比较垃圾，神仙也救不了你！
2016-11-06 20:51:16
3409
转载 数据库原理 知识点总结
本文转载：http://blog.csdn.net/jokes000/article/details/7521259 （更换了他的一张图）名词积累： 数据库（Database）：存放和提供数据的“库房” 数据（Data）：数据库中存储的基本对象。 数据库管理系统（DBMS）：位于用户与操作系统之间的一层数据管理软件。 数据库系统（Database System）：包括数据库、DBMS、应用
2016-11-06 20:01:04
836
原创 linux命令---用于查看文件内容cat,more,less,head,tail,sed
今天被面试到linux中怎么查看大文件中的某几行，被问倒了。整理下。vi （vim）文件名－－－－－#编辑方式查看，可修改 cat 文件名－－－－－－－－#显示全部文件内容 more 文件名－－－－－－－#分页显示文件内容 head 文件名－－－－－－－#仅查看头部,还可以指定行数 tail 文件名－－－－－－－－ #仅查看尾部，还可以指定行数 sed －n ‘num1,num2p’ 文件
2016-11-06 19:56:32
3505
转载 AVL树的旋转操作 图解 最详细
本文转自：http://blog.csdn.net/collonn/article/details/20128205 和 http://blog.chinaunix.net/uid-25324849-id-2182877.html好图！1 .基本概念AVL树的复杂程度真是比二叉搜索树高了整整一个数量级——它的原理并不难弄懂，但要把它用代码实现出来还真的有点费脑筋。下面我们来看看：1.1 AVL树是
2016-10-26 11:15:26
1349
转载 归并排序 图解算法过程
本文转自：http://blog.csdn.net/collonn/article/details/17581953图真好！归并排序，图解，详细过程。 package com.collonn.algorithm.sort;/** * <pre> * 经典归并排序 * </pre> */public class MergeSort { public void mergeSort(in
2016-10-26 11:03:40
2932
原创 java初始化构造函数调用顺序
直接举例说明，看下面程序和结果。class HelloA{ //父类构造函数 public HelloA() { System.out.println("HelloA"); } //父类块 {System.out.println("I am A");} //父类静态块 static { System.out.pr
2016-10-06 14:40:05
717
转载 深入理解Java的接口和抽象类
本文转载自：http://www.cnblogs.com/dolphin0520/p/3811437.html 对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲：
2016-10-06 11:31:40
345
原创 Hadoop学习笔记（11）－搭建Hive伪分布式及简单操作
1.下载Hive http://hive.apache.org/downloads.html 从该网址下载hive。我下载的是hive－2.1.0版本 之后用tar命令解压，我是解压到/usr/local/hadoop目录下。 2.配置环境变量 进入.bashrc 修改hive环境变量。vim ~/.bashrc在最后加入：export HIVE_HOME＝/usr/local/hadoo
2016-10-04 23:59:20
862
原创 Hadoop学习笔记（10）－简述分布式数据仓库Hive原理
0.什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。简单的说就是：数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据
2016-10-04 23:32:47
3950
原创 Hadoop学习笔记（8）－简述分布式数据库Hbase原理
1.Hbase简介Hbase是一个分布式可扩展的NoSQL数据库，提供对结构化，半结构化，非结构化大数据的实时读写和随机访问能力，而且操作速度与数据量基本无关，所以可以用于海量数据处理。Hbase之于HDFS就类似于数据库之于文件系统。自然Hbase是建立在HDFS之上的，可以存储海量的数据。 常见的NoSQL数据库还有：Apache Cassandra，MongoDB等。下图1展示了Hbase在
2016-10-04 20:47:06
2679
1
原创 Hadoop学习笔记（9）－搭建Hbase伪分布式及简单操作
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。 安装方法见：http://hbase.apache.org/book.html#standalone_dist我下载的是hbase-1.2.3-bin.tar.gz
2016-10-04 20:03:26
1033
转载 java中StringTokenizer类的用法
转自：http://blog.csdn.net/wenqisun/article/details/7442445StringTokenizer是字符串分隔解析类型，属于：Java.util包。1.StringTokenizer的构造函数 StringTokenizer（String str）：构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符（‘\
2016-10-03 16:01:31
501
原创 mysql－触发器，存储过程和函数，定时器使用等内容分享
写博客，重复造轮子还是少做，这里索性就直接分享学习的内容。1.触发器最通俗易懂的入门博客（里面通过实例来引出用法） http://www.cnblogs.com/zzwlovegfj/archive/2012/07/04/2576989.html 全面的介绍（这里是对上面内容的补全，作为完整的知识点要看）： http://www.baike369.com/content/?id=5495 h
2016-10-02 22:24:42
1727
转载 mysql索引
二话不说了分享个不错的介绍索引的内容，教科书式的安排，很全面，比大多数博客只能点到一点要强多了。 http://www.baike369.com/content/?id=5476索引的含义和特点索引是创建在表上的，是对数据库表中一列或多列的值进行排序的一种结构。索引可以提高查询的速度。通过索引，查询数据时可以不必读完记录的所有信息，而只是查询索引列。否则，数据库系统将读取每条记录的所有信息进行匹配
2016-10-02 22:01:03
352
转载 mysql视图
今天复习视图相关的操作。分享转载这两个链接。很全面。 http://blog.csdn.net/a672489861/article/details/17184265http://www.jb51.net/article/36363.htm一: 视图的简介,作用,优点 1. 什么是视图? a. 视图是一种虚拟的表,是从数据库中一个或者多个表中导出的表 b.
2016-10-01 15:04:49
370
转载 java 操作mysql的创建数据库及数据的增删改查
1.用java创建数据库，但是这种动态创建数据库是非主流的。一般不会这样操作。import java.sql.*;public class Test{ public static void main(String[] args) throws Exception { Class.forName("com.mysql.jdbc.Driver"); //一
2016-09-01 13:19:38
12329
转载 Java数据类型与MySql数据类型对照表
本文讲述了Java数据类型与MySql数据类型对照表。分享给大家供大家参考，具体如下：对于bolb，一般用于对图片的数据库存储，原理是把图片打成二进制，然后进行的一种存储方式，在java中对应byte［］数组。
2016-09-01 13:04:00
449
转载 时寒冰：给孩子一个真实的《项链》，震撼无数人的讲解
在订阅里读到这样一篇文章，很有感触。所以转载过来。要多角度思考问题。在长期被非黑即白甚或黑白混淆乃至颠倒的教育熏染之下，人们需要重新找回自己的智慧、理性乃至悲悯之心。 http://mp.weixin.qq.com/s?__biz=MzA4NzY1ODMzNA==&mid=2648987466&idx=2&sn=2e3b99b57543e2e3572cd40fafd6c61a&scene=23&s
2016-08-02 17:59:47
3727
原创 ［知乎有感］读书到底为了什么，读研到底值不值？
http://www.cnblogs.com/maybe2030/p/4592153.html 今天读到这篇文章，颇有触动，已经快研三了，读研学会了什么，得到来什么。也看到过一些另一面的评价，来自百度贴吧： http://tieba.baidu.com/p/3731911838虽然百度贴吧里的描述，估计说中了大多数国内理工科研究生的现状。人还是要往好的方面看，摘录下知乎这篇的段落。分割线，以下内
2016-08-01 20:22:27
1810
原创 机器学习笔记（1）－简介监督学习与无监督学习
机器学习方法主要分为有监督学习（supervised learning）和无监督学习（unsupervised learning）。下面来用例子来简单介绍下。1.监督学习1.1 地价预测问题假如我是一位房产商。打算购买某城市的一处20亩的土地来造房子，当然我希望用最低的价格来购买啦，这样才能赚到最多嘛。可我并不了解这个城市的地价。我先收集这个周边地区，近3个月的地产成交数据，数据的内容是土地面积和对
2016-06-09 13:54:23
1721
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人