- 博客(31)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 HashTag在内容平台的应用
形式就是大家在各类图文平台(微博、小红书)，短视频平台(抖音、微信、快手)，发布内容时，可以设置的话题标签，通常是“#，$，-”等。用途对用户来说，就是标注关键词语和话题，把发布的内容归类到某个话题标签下。通常可以有更多的露出。对于平台来说，主要用于聚合和归类，将视频内容结构化。平台为什么要设置HashTag引导用户关注发布者的话题领域，连接更多的人，对一个人感兴趣，比对某个视频感兴趣，预期更低，粘性更高。搜索内容，尤其是对短视频来说，让视频有了更多结构化的内容，更容易被搜索发现。可以形成
2021-06-23 15:49:53
595
原创 pgsql查看表和列的说明
列说明with tmp_tab as ( select pc.oid as ooid ,pn.nspname ,pc.* from pg_class pcleft outer join pg_namespace pn on pc.relnamespace = pn.oid where 1=1 and pc.relkind in ('r') and pn.nspname not in ('
2020-12-07 16:35:42
879
原创 搭建推荐系统，掌握机器学习
说明大多数推荐系统学习，要么讲解算法，要么讲解理论。这里，我们结合python和pgsql数据库，从0开始搭建一个电影推荐系统。数据库操作(pgsql)创建一个数据库用户，用于管理推荐系统相关数据库对象create user hrjlk_recomm with password '123456';创建表空间，用于存储推荐系统相关的数据create tablespace ts_recomm_data owner hrjlk_recomm location '/Users/../data_ts/
2020-09-01 20:34:54
233
原创 ehCache缓存通用操作
import java.net.URL;import net.sf.ehcache.Cache; import net.sf.ehcache.CacheManager; import net.sf.ehcache.Element;/** * @author roy * @version 1.0 * created_dt:2020/09/01 * EhCache tool class */public class EhCacheUtil { private static
2020-09-01 20:30:41
139
原创 java读取Property文件
/** * @author roy * @version 1.0 * created_dt:2020/09/01 * property tool class */import java.io.*;import java.util.Properties;public class PropsUtil { /** * @author roy * @version 1.0 * @param String * @return Propert
2020-09-01 20:17:17
230
原创 webpack前端项目搭建说明
工程环境安装npm这个操作，建议各位使用度娘即可，如果搞不定，可放弃治疗。初始化与包安装先创建一个目录，比如 test-fe环境初始化npm init -y-y 表示安装过程中所有选项都默认y，可以先不用参数装一遍，看一下。webpack相关应用安装npm i webpack-cli -s -d npm i webpack-dev-server -s -d webpack-cli：命令行客户端，webpack4，将server与cli分开了，要单独安装。webpack-dev-s
2020-08-16 22:04:23
125
原创 我别“逼”创业了(八)
我是谁？我在哪？我的锅甩出去了吗？某日开会耆总：“这个A项目不是说好10号上线的吗？怎么改15号了？这事我怎么不知道？”我：“8号的时候，你自己要求把B项目插进来的啊，我说B优先做可以，那么正在进行中的A项目就要延期到15号了，有邮件，你自己确认过了！”耆总，翻阅1分钟邮件，发现这个锅有点重，不太好甩，又拧眉沉思了3分钟，有了台词。流氓会武术，谁都挡不住耆总：“技术这么做事是有问题的！”我：“有什么问题啊？”耆总：“A项目进行的时候，产品经理要求先做B项目，A项目就要.
2020-07-26 16:24:56
107
原创 我被“逼”创业了(七)
抢功劳的基因要渗透到血液里公司在前一年12月设计了一个练习册产品，设计稿出来，负责人就离职了。这个产品就是将学生在过去一周或一个月内做错过的练习题，汇总到一起，再增加一些与原错题知识点类似的增强练习题。耆总在1月份的时候接手产品工作，3月份周频率的练习册上线，4月份月频率的练习册上线。这时候，耆总召开了《项目总结会与销售目标动员会》。耆总：“这个产品，虽然不是我设计的，但是我接手的，因为我来了才上线的，所以我先委婉夸自己一下，我能力有点强。”大家：“....."耆总：“..
2020-07-05 16:53:08
189
3
原创 我被“逼”创业了(六)
凭空想象，就可以指挥别人干活了某日开会。鱼哥：“学生的考试时间，以及本次考试的答卷时间，哪个时间早，就把哪个时间当做考试时间！”我：“学生考试的时候，不答卷他干什么？然后，等非考试时间再做试卷，这还叫考试吗？”鱼哥：“我不知道啊，难道就没有考试时间和答卷时间不一样的时候吗？”我：“......”产品经理不用知道自己在干什么继续开会。我：“两个学校可以一起组织考试，通常叫做联考，比如XX附中，XX附中分校，可以同时考试，成绩要一起排名，跨学校了，这种情况怎么处理？”.
2020-07-04 15:32:00
131
原创 我被“逼”创业了(五)
我不要脸，我敢直说人在职场混，难免特别忙！工作嘛，难免会有紧急的事情，搞得大家非常寝食难安。最近（9月份），公司有一个紧急且重要项目，忙碌的状态大概要持续2周左右，为了提升协作效率，增加了每天早晨15分钟的相关人员的例会。这个其实也不是软件开发项目才有的一个特殊制度，比如建筑工程，需要紧急盖个房子，也可以每天简短同步，昨天砌了几层砖，今天计划砌几层，推进有没有困难，原料够不够，是不是需要其他团队协助。耆总作为最高大上部门的负责人，是会议牵头人，第一天的例会，一不小心，把15分钟的例会开到.
2020-06-22 18:38:57
250
原创 我被“逼”创业了(四)
活干得怎么样不重要，职位要高大上，因为需要写在简历里公司最高大上的部门是，“算法产品有博士能出书领导来自大厂要把公司做到行业Top3部”，简称“数据需求部”；有一位职位是“分析师兼产品经理并负责策略设计对外沟通”的同事，简称“漏风姐”。无知者无畏一天，漏风姐发给我一个excel，让我看一下，说这就是需求，需要排个时间。她一共需要7列内容：学校名字；年级；班级；学生学号；学生姓名；错题数量；班级人数；看到班级人数的时候我就有点懵了，每个学生的错题数量后面.
2020-06-15 20:43:16
257
原创 我被“逼”创业了(二)
如果做的事情用户直接会用，那么容易出事故。如果做的事情用户不直接用，那么请等着接锅。先给我自己的技术团队起个名字吧，就用“X团队”吧。我们负责的是数据相关技术，并不是做App或者页面之类的，会跟用户直接交互，所以，做出来的东西，大家并不能直接看到。拿教育业务来说，每一个学生，在不同的时间，考试或作业中，做错与做对过哪些题，是我们计算出来的。所以，我们每天的工作，主要是等着“接锅”。自己的工作该做什么，甚至是自己能做什么，别人已经帮你安排好了那是一个周五，当周的工作非常多，大家不想.
2020-06-13 14:11:21
462
原创 我被“逼”创业了(一)
不做点什么，感觉真的“对不起”自己从小内向，小学二年级，学校开了计算机兴趣班，我是全班唯一一个报名的。第一次坐在电脑教室里，面对一个老师，他的决定竟然是教，还开始讲VB的赋值。后来想想那个场景挺有意思的，二年级，刚刚能够不使用汉语拼音写作业，A都被我读成了“啊”；老师还跟我讲，变量名要有意义。后来，这场尴尬还要感谢明智的主任，允许跨年级上计算机兴趣班。因为太小，跟高年级的同学一起去区里参加比赛，要老师骑自行车载我去。就这样，已经跟编程“博弈”了20多年。有准备而又猝不及防按照自.
2020-06-13 13:59:56
652
原创 mac下PostgreSQL安装与卸载
一、PostgreSQL本地安装1.1背景说明（版本11.6）一般数据库服务的主流安装方式有4种（个人mac电脑环境，windows已有对应的方式）：1.源码编译安装。2.安装包安装。3.app应用。4.brew安装。个人觉得其中app安装最方便，打开即是一个服务，但是不知道一些拓展，丰富性略差，满足常见数据库操作场景。下面的操作是以安装包安装为例，也是个人推荐的学习和操作的安装方式...
2020-01-18 16:30:40
3636
2
原创 jieba分词入门
(主要内容均来源于github上的说明)特点支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。支持繁体分词。支持自定义词典。MIT授权协议。安装说明全自动安装：easy_install...
2019-03-22 22:30:52
571
原创 ElasticSearch6.X操作指南(一)
0.入门简单安装下载对应版本的软件包后cd elasticsearch-<version>./bin/elasticticsearch如果你想把 Elasticsearch 作为一个守护进程在后台运行，那么可以在后面添加参数 -d。如果你是在 Windows 上面运行 Elasticseach，你应该运行 bin\elasticsearch.bat 而不是 bin\el...
2019-03-21 16:09:29
784
翻译 Python Whoosh入门帖
概览Whoosh是一个用来索引文本并能根据索引搜索的的包含类和方法的类库。它允许你开发一个针对自己内容的搜索引擎。例如，如果你想创建一个博客软件，你可以使用Whoosh添加一个允许用户搜索博客类目的搜索功能。使用入门index，schema，field当开始使用Whoosh时，你需要一个索引的对象。第一次使用时，你需要创建一个索引，并同时定义一个索引的schema。schema中要列出索引...
2019-03-21 16:00:24
2110
原创 python配置按日期切分的logging
一、定义一个yml文件version: 1disable_existing_loggers: Falseformatters: simple: format: '%(asctime)s [%(name)s:%(lineno)d] [%(levelname)s]- %(message)s'handlers: console: class: logging.StreamHand...
2018-11-27 14:22:58
7769
3
翻译 SparkRdd官档翻译(Python)
RDD程序开发指南概述从较高的层面来看，每一个Spark应用都包含运行用户main方法和执行各种并行操作的Driver程序。Spark最主要的抽象概念是分布式数据集，它是可以执行并行操作且跨集群节点的分区的元素集合。RDD可以从Hadoop文件系统中创建（其他任何Hadoop支持的文件系统），或者一个当前存在于Driver程序中的Scala集合，及其通过转换来创建一个RDD。我们也可以请求S...
2018-11-22 16:14:52
290
原创 后端服务——Flask使用(1)
简介REST：REpresentational State Transfer，英语的直译就是“表现层状态转移”。解词：Resource：资源，即数据。Representational：某种表现形式，比如用JSON，XML，JPEG等。State Transfer：状态变化。通过HTTP动词实现。简述RESTful API就是REST风格的API。那么在什么场景下使用RESTfulAP...
2018-11-22 15:59:17
368
转载 Linux文件路径说明
"/" : 根目录Linux文件系统的入口.也是最高级，最重要的的目录.除衍生出其它目录，还和系统的开机，还原，系统修复有的，一般要求不要把任务应用程序直接放在根目录下，如果满了，可能就登录不了了（需要注意是否日志输出在根目录下）。"/bin"：基本系统所需要的命令,主要是单用户模式下，还能执行的命令。主要有cat，mv，mkdir，cp，bash，ls等。"/boot"：内核和...
2018-11-19 21:53:33
478
原创 Eclipse配置python开发环境
一、安装自己需要的对应版本的Eclipse。二、安装python环境，建议用3.0以后的新版本。(mac默认的python安装路径是/Library/Frameworks/Python.framework/Versions/)三、配置Eclipse的python开发环境1.Help->Install New Software。2.在弹出的对话框中，点Add按钮 Na...
2018-11-17 11:17:34
137
翻译 airpal部署
1.clone项目 https://github.com/airbnb/airpal.git2.编译项目 ./gradlew clean shadowJar or ./gradlew -Dairpal.prestoVersion=0.90 clean shadowJar (制定对应的版本)3.创建mysql的用户和数据库 insert into my
2016-10-18 12:14:13
1165
原创 presto部署
背景 presto又是facebook开源的一个分布式查询引擎查询效率比hive高很多。具体的说明可以看http://tech.meituan.com/presto.html，不错的实践说明。单机部署 1.jdk安装1.8版本，并配置环境变量。 2.最好建一个presto用户，可选。 3.下载安装包 http://search.maven.org/remotecon
2016-09-20 19:25:27
1955
原创 hadoop2.5.2加节点
hadoop加扩容加节点是很常见的场景。网上有很多说法，可以冷加（需要重启，也叫动态加），可以热加（不需要重启，也加静态加）。个人亲测了几种方案，总结如下： 加节点不重启，风险很高。 首先来说加节点的步骤： 1.准备服务器，这里我用的是云机器，所以镜像一台以前的旧的datanode就可以了，省去了复制hadoop文件的麻烦。如果是新增机器，需要把已有的datanode节点上的ha
2016-09-12 19:20:03
468
原创 数据仓库复兴-数据来源
一、数据仓库的数据从哪里来 1.数据仓库产生数据吗？据仓库本身是不产生数据的，当然了，可能有人会说，如果数据仓库不产生数据，那报表是什么？从哪来的？然后，这时候会再跳出一个人来说(我天朝确实人多哈)，报表那是数据仓库加工产生的。上面的一段话，我划分为两个问题，首先来说第一个。现在普遍见到的数据仓库的应用，可能就是报表了，各种日报、周报、月报、季度。。。还有银行的年终结转之类的。其...
2015-04-26 21:32:19
969
1
原创 数据仓库工作日记_记录(四)
前面介绍了需求分析前，物理情况的数据探查，本篇接着介绍关于逻辑探查的内容。 初探一般数据仓库的数据都来源于业务系统，而业务系统的数据库设计都属于oltp范畴的，设计思路一般也都是遵循数据库教材里面的三范式设计。知己知彼，百战不殆，所以我建议可以不要先去讨论数据仓库的需求，以自己的理解先去窥探一下业务系统。我一般会关注几个方面：一、各系统结构（前面已经提过了）二、主系统结构...
2014-08-26 14:24:46
1043
1
原创 数据仓库工作日记_记录(三)
背景数据治理工作的情况基本描述的差不多了，实际工作中也进行的差不多了，因此，在数据质量问题基本探查清楚，数据标准制定以后，就可以开始下一步的工作了。现有DW的情况，除了保存了历史数据以外，基本与ODS或者说业务系统的结构没有太大区别。而业务系统都是面向实时交易进行数据库设计的，这种设计显然不能满足数据仓库的查询、分析特性，因此，还是采用行业比较认可也相对成熟的维度建模思想作为设计主导，...
2014-08-20 08:32:44
1122
1
原创 数据仓库工作日记_记录（二）-数据治理下
序言前面的博客中提到了系统的现状，只有两层，ODS和DW，也描述了是做什么用的了，所以我也就不画高大上的流程图，架构图出来了。描述了系统现有的问题情况，也提出了解决的办法，作为数据治理最后的一部分，来讲讲数据仓库的元数据管理。所谓元数据管理，就是管理数据仓库中数据以外的数据（具体的官方概念大家依旧可以度娘，狗哥）。我参与了很多数据仓库项目，其中包括像中国某知名运营商省级公司的数据仓库，...
2014-07-28 22:59:25
1440
原创 数据仓库工作日记_记录（二）-数据治理中
数据治理，这并不是数据仓库建设的一个必要环节。通常在数据仓库的建设初期我们会制定开发规范，然后在模型设计时，设计人员会统一数据类型，字段名等元素，并且很多建模工具已经支持此类功能。这个项目由数据治理发起，很大程度上是由于前期的工作缺乏规范，同时工期压缩过度造成的。好吧，既然治理，就要把数据都管好，想管好就一定要有规矩，无规矩不成方圆，做任何事都是这样的。所以我的治理方案第一步是数据探查，第二步...
2014-07-27 20:35:48
1392
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人