- 博客(1148)
- 资源 (42)
- 收藏
- 关注

原创 机器学习算法原理专栏目录
机器学习十大算法https://xingqijiang.blog.csdn.net/article/details/82426626机器学习 | LR逻辑回归模型https://xingqijiang.blog.csdn.net/article/details/81607994LR 特征离散化https://xingqijiang.blog.csdn.net/article/details/81607994漫画:逻辑回归https://xingqijiang.blog.csdn.
2021-05-03 12:40:46
806
8
原创 机器学习编码分类特征编码LabelEncoder与OneHotEncoder
LabelEncoder是用来对分类型特征值进行编码,即对不连续的数值或文本进行编码。其中包含以下常用方法:fit(y) :fit可看做一本空字典,y可看作要塞到字典中的词。fit_transform(y):相当于先进行fit再进行transform,即把y塞到字典中去以后再进行transform得到索引值。inverse_transform(y):根据索引值y获得原始数据。transform(y) :将y转变成索引值。
2022-12-20 18:25:05
180
原创 Python自然语言处理常用库——jieba库
开发者可以指定自定义词典,以便包含jieba词库里没有的词。虽然jieba有新词识别功能。但是自行添加新词可以保证更高的正确率。用法:jieba.load_userdict(file_name) #file_name为文件类对象或自定义词典的路径词典格式和dict.txt一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒。filename若为路径或二级制方式打开的文件,则文件必须为UTF-8编码。词频省略时使用自动计算的能保证分出该词的词频。
2022-12-19 16:22:37
116
原创 AI人工智能算法解析&落地实践专栏列表
移动腾讯网 | 推荐系统 embedding 技术实践总结:https://blog.csdn.net/jxq0816/article/details/106383903。广告算法在阿里文娱用户增长中的实践:https://blog.csdn.net/jxq0816/article/details/104791433。腾讯信息流内容理解技术实践:https://blog.csdn.net/jxq0816/article/details/103507870。人工智能、机器学习、深度学习三者之间有什么关系吗?
2022-12-19 15:57:45
294
原创 Hadoop、HDFS、Hive、Hbase之间的关系
Hbase:是一款基于HDFS的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。Hive:用户处理存储在HDFS中的数据,hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。
2022-12-18 21:00:38
293
原创 hive中文繁简转化opencc4j
toTraditional(char) 返回单个汉字对应的所有繁体字列表。traditionalList(String) 返回包含的繁体列表。toSimple(char) 返回单个汉字对应的所有简体字列表。simpleList(String) 返回包含的简体列表。isTraditional(String) 是否为繁体。toTraditional(String) 转为繁体。toSimple(String) 转为简体。
2022-12-12 20:32:59
340
原创 NLP文章和视频违规声明原创案例集锦
同时以下情形不得声明原创,一经发现将取消文章原创标识,并且根据违规情况对其公众号予以相应处理。3、符合平台运营规范(如营销宣传内容及其他违法违规内容不在原创范围内)3、符合平台运营规范(如营销宣传内容及其他违法违规内容不在原创范围内)1、受著作权法保护(如公开性质内容不具备著作权,则不在原创范围内)1、受著作权法保护(如公开性质内容不具备著作权,则不在原创范围内)2、不得侵犯他人权益(如未经授权使用他人内容,则不在原创范围内)2、不得侵犯他人权益(如未经授权使用他人内容,则不在原创范围内)
2022-11-29 11:58:55
143
原创 hive构造UDF函数
1、创建一个project。2、建一个lib文件夹,放入hive-exec-0.13.0.jar,并在libraries中引入该jar包。3、在src目录下创建package,如com.abc。4、创建java文件,继承UDF,写功能代码。5、定义输出文件jar。6、最后执行build module。
2022-11-18 10:53:52
359
原创 以微博核心业务为例,解读如何仅用1台服务器支持百万DAU
近些年,各家公司都在不断推出各种新的 App,百万 DAU 成为各种 App 的最基本目标。本文将详解如何通过大规格服务器 +K8s 的方案简化这些新项目的成本评估、服务部署等管理工作,并在流量增长时进行快速扩容。同时,本文还介绍了微博核心业务采用此方案部署时遇到的问题以及对应的解决方案。
2022-11-04 20:21:30
48
原创 NLP时政有害信息的界定
1. 反对宪法确定的基本原则;2. 危害国家统一、主权和领土完整;3. 泄露国家秘密、危害国家安全或者损害国家荣誉和利益;4. 煽动民族仇恨、民族歧视,破坏民族团结,或者侵害民族风俗、习惯;5. 破坏国家宗教政策,宣扬邪教、迷信;6. 散布谣言,扰乱社会秩序,破坏社会稳定;7. 歪曲、丑化、亵渎、否定英雄烈士事迹和精神,侮辱、诽谤英雄烈士;8. 宣扬赌博、暴力、凶杀、恐怖或者教唆犯罪;9. 煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;10. 突破社会道德底线、制度底线的负面信息;
2022-10-31 11:01:58
84
原创 什么是https加密?
身份盗窃和浏览器警告越来越受到消费者的关注。没有为网站安装合适的SSL证书实现https加密会降低用户的信任度,导致客户流失,使在线成交率下降,从而对企业产生负面影响。在在线商务的领域里,信任就是一切。在保护客户信息安全的技术上投资,可以赢得客户的信任,而这是任何在网上做生意的公司或电子商务网站的关键因素,网站安装SSL证书实现https加密,可以有效地帮助建立客户信任度。
2022-10-28 20:55:14
71
原创 Shell中的括号、双括号、方括号和双方括号
首先在Shell中,括号表示条件测试方法。主要用在if-then、case等需要条件判断的语句结构中。最近在看bash,括号搞的我一头雾水,所以总结一下,理清思路!括号一般在命令替换的时候使用。双括号使用双括号,在比较过程中使用高级数学表达式注意,不需要将双括号中表达式里的大于号转义。这是双括号命令提供的另一个高级特性。方括号定义了测试条件。第一个方括号后和第二个方括号前都要加一个空格,否则会报错。方括号主要包括4类判断:2、字符串比较 比较 描述
2022-07-12 16:05:09
168
原创 shell 判断脚本执行是否成功 if [ $? -ne 0 ]
$?是shell变量,表示"最后一次执行命令"的退出状态.0为成功,非0为失败.
2022-07-12 15:35:56
914
原创 NLP不良信息识别
不良信息包括但不限于:1. 标题党:使用夸张标题,内容与标题严重不符。2. 炒作负面话题:炒作绯闻、丑闻、劣迹等。3. 引战:制造事端或曲解原发内容本意,激化矛盾,引起不同群体相互攻击。4. 其他为获取流量和利益,侵害个人或单位合法权益的行为。宣扬仇恨是指用特定的生理、心理、地域、文化等属性区分出特定的人群加以标签化对立,并对此进行扩散传播,试图将对这一群体的排挤、贬低、歧视、攻击及伤害正当化、常规化的行为:1. 组织、煽动、引导不特定多数用户对具有以下类别的个体或群体的歧视、诽谤、侮辱、仇恨:
2022-06-08 21:29:31
313
1
原创 基于用户的协同过滤算法(二):用户相似度计算的改进
用户相似度计算的改进上一节介绍了计算用户兴趣相似度的最简单的公式(余弦相似度公式),但这个公式过于粗糙,本节将讨论如何改进该公式来提高UserCF的推荐性能。首先,以图书为例,如果两个用户都曾经买过《新华字典》,这丝毫不能说明他们兴趣相似,因为绝大多数中国人小时候都买过《新华字典》。但如果两个用户都买过《数据挖掘导论》,那可以认为他们的兴趣比较相似,因为只有研究数据挖掘的人才会买这本书。换句话说,两个用户对冷门物品采取过同样的行为更能说明他们兴趣的相似度。因此,John S. Breese在论.
2022-05-28 16:46:48
449
2
原创 NLP内容质量识别
一、标题低质图文格式混乱或不美观,音画质量差等影响阅读体验。包含但不限于以下场景:图文低质的内容,包含但不限于以下场景: 排版混乱:文章乱码、无段落或无标点; 语意不明:病句或错别字较多、乱码符号,有碍于读者理解内容; 逻辑混乱:内容拼凑或重复,前后内容没有衔接,无关内容占比较大; 音画低质的内容,包括但不限于以下场景: 视频缩放画面:视频中角标/logo/字幕被剪切,导致显示不全,或画面中人物面部被部分剪切; 视频添加边框:视频添加边框且占比较大,或水印遮挡画面严重,无法识别
2022-05-19 23:42:00
336
1
原创 基于用户的协同过滤算法(一):余弦相似度
基于用户的协同过滤算法是推荐系统中最古老的算法。可以不夸张地说,这个算法的诞生标志了推荐系统的诞生。该算法在1992年被提出,并应用于邮件过滤系统,1994年被GroupLens用于新闻过滤。在此之后直到2000年,该算法都是推荐系统领域最著名的算法。本节将对该算法进行详细介绍,首先介绍最基础的算法,然后在此基础上提出不同的改进方法,并通过真实的数据集进行评测。
2022-05-15 18:49:42
651
原创 linux服务器离线安装conda
问题背景服务器在无法联网的情况下,安装anaconda1、下载安装包https://docs.conda.io/en/latest/miniconda.html#linux-installers2、上传到服务器3、执行安装脚本sh Anaconda3-2021.11-Linux-x86_64.sh可以选择自定义Anaconda3的安装路径...
2022-05-05 23:52:24
847
原创 停止正在运行的hadoop任务
查看正在运行的任务列表yarn application -list -appStates RUNNING停止任务yarn application -kill application_任务编号
2022-05-01 20:53:15
1373
原创 音乐推荐是推荐系统里非常特殊的领域
个性化推荐的成功应用需要两个条件。第一是存在信息过载,因为如果用户可以很容易地从所有物品中找到喜欢的物品,就不需要个性化推荐了。第二是用户大部分时候没有特别明确的需求,因为用户如果有明确的需求,可以直接通过搜索引擎找到感兴趣的物品。在这两个条件下,个性化网络电台无疑是最合适的个性化推荐产品。首先,音乐很多,用户不可能听完所有的音乐再决定自己喜欢听什么,而且每年新的歌曲在以很快的速度增加,因此用户无疑面临着信息过载的问题。其次,人们听音乐时,一般都是把音乐作为一种背景乐来听,很少有人必须听
2022-04-30 16:44:55
1341
原创 Hive MapReduce性能优化
一、Hive任务创建文件数优化1.1 Map端文件合并减少Map任务数量一般来说,HDFS的默认文件块大小是128M,如果在Hive执行任务时,发现Map端的任务过多,且执行时间多数不超过一分钟,建议通过参数,划分(split)文件的大小,合并小文件。如:set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;set mapreduce.input.fileinputformat.split.mi
2022-04-07 12:30:12
190
原创 Hadoop Shell命令
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://nameno.
2022-03-15 15:26:10
150
原创 深度解析推荐系统的算法原理
推荐系统基于海量的物品数据的挖掘,通常由 召回层→排序层(粗排、精排、重排)组成,不同的层次的组成,其实也就是信息筛选的漏斗,这也是工程上效率的需要,把意向对象的数量从粗犷到精细化的筛选过程(这过程就像是找工作的时候,HR根据简历985/211粗筛出一部分,再做技能匹配及面试精准筛选,最终敲定合适的人选)
2022-03-02 22:48:00
208
原创 什么是倒排索引?
创建倒排索引,分为以下几步:1)创建文档列表:lucene首先对原始文档数据进行编号(DocID),形成列表,就是一个文档列表2)创建倒排索引列表然后对文档中数据进行分词,得到词条。对词条进行编号,以词条创建索引。然后记录下包含该词条的所有文档编号(及其它信息)。谷歌之父--> 谷歌、之父倒排索引创建索引的流程:1) 首先把所有的原始数据进行编号,形成文档列表2) 把文档数据进行分词,得到很多的词条,以词条为索引。保存包含这些词条的文档的编号信息。搜..
2022-02-27 11:48:26
349
原创 LeetCode No.202 快乐数
一、题目描述编写一个算法来判断一个数 n 是不是快乐数。「快乐数」 定义为:对于一个正整数,每一次将该数替换为它每个位置上的数字的平方和。然后重复这个过程直到这个数变为1,也可能是 无限循环 但始终变不到1。如果这个过程 结果为1,那么这个数就是快乐数。如果 n 是 快乐数 就返回 true ;不是,则返回 false 。示例 1:输入:n = 19输出:true解释:12 + 92 = 8282 + 22 = 6862 + 82 = 10012 + 02 + 02 =
2022-02-26 21:32:47
7958
原创 LeetCode No.234 回文链表
一、题目描述给你一个单链表的头节点 head ,请你判断该链表是否为回文链表。如果是,返回 true ;否则,返回 false 。示例 1:输入:head = [1,2,2,1]输出:true示例 2:输入:head = [1,2]输出:false提示:链表中节点数目在范围[1, 10^5] 内0 <= Node.val <= 9二、解题思路如果你还不太熟悉链表,下面有关于列表的概要讲述。有两种常用的列表实现,分别为数组列表和链表。如果我们想在列表中存
2022-02-13 17:15:27
142
原创 LeetCode No.225 用队列实现栈
一、题目描述请你仅使用两个队列实现一个后入先出(LIFO)的栈,并支持普通栈的全部四种操作(push、top、pop 和 empty)。实现 MyStack 类:void push(int x) 将元素 x 压入栈顶。int pop() 移除并返回栈顶元素。int top() 返回栈顶元素。boolean empty() 如果栈是空的,返回 true ;否则,返回 false 。注意:你只能使用队列的基本操作 —— 也就是push to back、peek/pop from ..
2022-02-12 19:17:38
135
原创 新浪新闻发布Z世代洞察报告:Z世代偏爱深入“吃瓜” 对元宇宙兴趣强烈
2021年12月14日,新浪新闻发布《走进自信的Z世代 2021新青年洞察报告》(以下简称报告),从人群特征、信息获取、生活消费、智能生活等多个维度,全面洞察Z世代的兴趣偏好等特征。据国家统计局、CNNIC数据显示,截至2021年6月,95、00后Z世代活跃用户规模已超2.2亿,约占全体移动网民的22%。报告认为,作为互联网原住民,Z世代新青年身上散落着独特的网络特征和亚文化符号,信息获取、消费决策、生活空间等更具互联网特征,也更加注重个性化和互动体验。内容喜好多元 Z世代最爱吃瓜 且要把瓜吃透
2022-01-03 20:36:50
533
原创 常见用户行为分析模型解析:点击分析模型
点击分析模型在各行业内数据分析应用较为广泛,是重要的数据分析模型之一。点击图与热力图有何差异?热力图是以特殊高亮的形式显示访客热衷的页面区域和访客所在的地理区域的图示,如图。同样,点击图也是特殊高亮的颜色形式的显示。不同的是,点击图是点击分析方法的效果呈现,在用户行为分析领域,点击分析被应用于显示页面或页面组(结构相同的页面,如商品详情页、官网博客等)区域中不同元素点击密度的图示。包括元素被点击的次数、占比、发生点击的用户列表、按钮的当前与历史内容等因素。图1 点击图 (图片来源于网络).
2021-12-12 10:26:40
552
原创 常见用户行为分析模型:用户分群
用户分群是企业精细化,数据化运营的第一步。用户分群数据分析方法是进行用户画像的关键数据分析模型,这是企业进行数据分析、精细化运营的第一步。用户分群即用户信息标签化,通过用户的历史行为路径、行为特征、偏好等属性,将具有相同属性的用户划分为一个群体,并进行后续分析。漏斗分析关注阶段差异,用户分群关注群体差异前面的文章我们讲了漏斗分析模型。通过漏斗分析模型,运营人员可以看到,用户在不同阶段所表现出的行为是不同的,譬如新用户的关注点在哪里?已购用户什么情况下会再次付费?然而,由于群体特征不同,行为会.
2021-12-12 10:24:18
813
原创 常见用户行为分析模型:用户行为路径分析模型
用户行为路径分析同样是重要的数据分析模型,它为企业实现理想的数据驱动与布局调整提供科学指导,对精准勾勒用户画像也有重要参考价值。用户访问APP/网络,如同参观画展,观众是感受和传达画展参展方和展品的目的受众体,图画的展现布局不同,每一位观众根据自身喜好形成特有的参观顺序。为让观众沿着最优访问路径前进,需要策展者结合观众需求进行布局调整。这种自主式的数据分析方法,让业务人员都能科学进行数据分析。什么是用户行为路径?用户路径分析,顾名思义,用户在APP或网站中的访问行为路径。为了衡量网站优化的效果或.
2021-12-12 10:22:04
1383
原创 常见用户行为分析模型:漏斗分析模型
用户行为分析之漏斗分析模型是企业实现精细化运营、进行用户行为分析的重要数据分析模型,其精细化程度影响着营销管理的成败,以及用户行为分析的精准度。现代营销观念认为:“营销管理重在过程,控制了过程就控制了结果。”用户行为分析之漏斗分析模型是企业实现精细化运营、进行用户行为分析的重要数据分析模型,其精细化程度影响着营销管理的成败,以及用户行为分析的精准度。粗陋的漏斗分析模型因为过程管理不透明、数据分析不精细、用户行为分析不科学而造成结果失控。因此,我们经常能够听到一些产品经理的抱怨不绝于耳:从启动 APP.
2021-12-12 10:18:27
729
计算广告学第六单元课件.pdf
2021-11-03
计算广告学第五单元课件.pdf
2021-11-03
计算广告学第四单元课件.pdf
2021-11-03
计算广告学第三单元课件.pdf
2021-11-03
计算广告学第二单元课件.pdf
2021-11-03
基于大数据的用户画像方法研究综述.pdf
2021-10-31
深度学习在美团搜索广告排序的应用实践.pdf
2021-10-31
知乎推荐算法和帐号运营2021.pdf
2021-09-16
Adaptive Focus for Efficient Video Recognition.pdf
2021-08-23
Linux教程.ppt
2021-08-20
NLP中的注意力机制.pptx
2021-08-14
循环神经网络语言模型.pdf
2021-08-14
神经网络语言模型.pdf
2021-08-14
深度学习与问答系统.pdf
2021-08-14
深度学习与情感分析.pdf
2021-08-14
当代大学生的就业与成才.doc
2021-08-14
电信运营-计费管理系统的设计与实现.ppt
2021-08-14
SQL Server数据库实验_存储过程与触发器设计.docx
2021-08-11
SQL Server数据库实验_创建和修改数据表及数据完整性.doc
2021-08-11
SQL Server数据库实验_数据查询与更新_简单的单表查询.doc
2021-08-11
SQL Server数据库实验_数据查询与更新_复杂的单表查询.doc
2021-08-11
数据仓库与数据挖掘第二章Part2 ETL_AND_OLAP.ppt
2021-08-07
数据仓库与数据挖掘第三章Part3 An Intruction to Data Mining.ppt
2021-08-07
数据仓库与数据挖掘第五章Part5 Clustering聚类.ppt
2021-08-07
数据仓库与数据挖掘第六章Part6_6_SVM支持向量机.ppt
2021-08-07
数据仓库与数据挖掘第六章Part6_5_Rough_Set粗糙集.ppt
2021-08-06
数据仓库与数据挖掘第六章Part6_4_Genetic_Algorithm遗传算法.ppt
2021-08-06
数据仓库与数据挖掘第六章Part6_3 Neural Network神经网络.ppt
2021-08-06
数据仓库与数据挖掘第六章Part6_2 Naive Bayes Bayesian networks朴素贝叶斯.ppt
2021-08-06
数据仓库与数据挖掘第六章Part6_1 Decision Tree决策树.ppt
2021-08-06
数据仓库与数据挖掘第六章Part6_0 Classification.ppt
2021-08-06
HTMLCSSJavaScript标准教程:实例版(第2版)习题参考答案.docx
2021-08-03
互联网简历撰写技巧.zip
2021-08-02
map-reduce.pdf
2021-08-02
looklike.pdf
2021-08-02
titanic.csv
2021-06-11
主流app描述信息,包含package_name,app_name,app_info等基本信息
2021-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人