大数据
lxb_champagne
这个作者很懒,什么都没留下…
展开
-
基于Transformer对文本进行向量搜索
import csvfrom datetime import datetimeimport numpy as npimport pandas as pdimport osfrom pathlib import Pathfrom sentence_transformers import SentenceTransformer, CrossEncoder, utilfrom concurrent.futures import ThreadPoolExecutor, waitimport .原创 2022-01-04 14:48:59 · 1517 阅读 · 0 评论 -
基于KMeans根据用户APP安装列表进行用户分群
import numpy as npimport matplotlib.pyplot as pltimport csvimport osfrom pathlib import Pathimport pandas as pdfrom sklearn.cluster import KMeansfrom sklearn.decomposition import PCAdef encode_user_apps(): print("Installed apps encoder ...原创 2022-01-04 14:47:49 · 626 阅读 · 0 评论 -
Hive总结
1,原创 2013-09-30 16:07:17 · 643 阅读 · 0 评论 -
HBase的安装、配置、管理与编程
环境准备需要环境:PC-1 Suse Linux 9 10.192.1.1PC-2 Suse Linux 9 10.192.1.2PC-3 Suse Linux 9 10.192.1.3PC-4 Suse Linux 9 10.192.1.4 其中,PC-1做原创 2010-03-12 14:53:00 · 3790 阅读 · 0 评论 -
HDFS文件系统管理
1、启动1.1 格式化文件系统在namenode节点,执行命令./hadoop namenode –format,格式化文件系统。1.2 启动/关闭文件系统(1)在namenode节点执行命令“./start-dfs.sh”启动HDFS文件系统。(2)在namenode节点执行命令“./stop-dfs.sh”关闭HDFS文件系统。(3)在namenode节点执行命令“./原创 2010-03-12 14:50:00 · 4065 阅读 · 0 评论 -
HDFS文件存取编程
1、接口说明Hadoop文件系统由一个namenode节点和N个datanode节点组成,每个结点均是一台普通的计算机。在使用上同我们熟悉的单机上的文件系统非常类似,一样可以建目录,创建,复制,删除文件,查看文件内容等。客户端要实现对Hadoop文件系统的读写,要配置目标文件的绝对路径,来连接Hadoop文件系统,如“hdfs://10.191.1.1:54310/user/hdfs/te原创 2010-03-12 14:47:00 · 5141 阅读 · 4 评论 -
Hive使用问题及技巧
1,TAB键HQL中不能有Table键,需要以空格替代; 2,与关键词重名字段查询加键盘左上角字符括起来。如果select * from table `from`='Shanghai';原创 2013-11-08 17:59:04 · 610 阅读 · 0 评论