- 博客(9)
- 收藏
- 关注
原创 数据管理应用文档
requirementspython > 3.63.8测试通过,其他版本未测试安装相关依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 启动bash start.sh基本功能同步本地和服务器图片浏览本地标注数据集打开文件-选择下载数据集中的json文件删除更改标注数据上传数据集到服务器数据库浏览查询
2021-12-20 16:26:20 209
原创 2021-04-28
linux 安装redis 完整步骤最近在linux服务器上需要安装redis,来存放数据,增加用户访问数据的速度,由于是第一次安装,于是在百度上搜了一篇文章,按照这篇博客,顺利安装好了,因此将博主的文章拷过来记录一下,方便以后使用,也为需要的朋友提供一个方便,参考博文地址:https://www.cnblogs.com/lauhp/p/8487029.html安装:1.获取redis资源wget http://download.redis.io/releases/redis-4.0.8.tar.
2021-04-28 10:08:16 123
原创 Nvidia jetson NX 安装scipy
Nvidia jetson NX 安装scipy系统安装依赖jetson 直接安装编译 scipy 必定报错, 需要添加如下依赖,直接成功系统安装依赖sudo apt-get install libblas-dev checkinstallsudo apt-get install liblapack-dev checkinstallsudo apt-get install gfortranpip3 install scipy不要着急,编译半小时。。。...
2021-04-13 17:29:32 648
原创 Nvidia-docker 配置 Tensorrt环境
主机端配置NVIDIA 驱动安装NOTE:NVIDIA 内核驱动版本与系统驱动一定要一致输入下条命令,查看你的显卡驱动所使用的内核版本cat /proc/driver/nvidia/versiong@g-Inspiron-5675:~$ cat /proc/driver/nvidia/versionNVRM version: NVIDIA UNIX x86_64 Kernel Mo...
2019-11-19 15:57:49 3062
原创 pytorch模型compression-prune,sparsity,quantization
pytorch模型compression-prune,sparsity,quantizationsparsityFilter Prunerchannel prunermobile_net quantization 实验数据sparsityPruning individual weight elements is called element-wise pruning, and it is a...
2019-11-08 13:47:26 634
转载 sparksql的三种join实现
sparksql的三种join实现引言Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。对于Spark来说有3中Join的实现,每种Join对应着不同的应用场景:Broadcast Hash Join : 适合一张较小的表和一张大表进行joinShuffle Hash Joi...
2018-12-11 19:17:26 853
原创 spark运行原理和启动
#集群启动spark-shell(指定了集群的参数)–集群主机url --核心数 --使用内存 --运行程序 --路径/opt/spark/bin/spark-shell --master spark://master1:7077 --executor-memory 512mSpark集群中运行.py文件命令:/opt/spark/bin/spark-submit --master...
2018-11-28 17:45:00 219
转载 Hive优化,基于MR的分析
Hive优化总结优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜。理解hadoop的核心能力,是hive优化的根本。这是这一年来,项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程,有几个显著的特征:1.不怕数据多,就怕数据倾斜。2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几...
2018-11-27 10:27:37 716
原创 惊云网盘技术文档
**123网盘技术文档**1,背景:刚刚学习了hdfs,以及HBase等框架,为了加深理解,特以此网盘小项目作为试炼。2,简介123网盘项目主要模仿市面上的网盘的一些基本功能,舍弃了页面,交互等高级的应用功能,以练习基础为出发点,自我开发设计,主要实现了的功能有:登陆、注册显示文件信息内存空间计算上传下载创建目录删除文件3,技术选型主要依托:大数据与...
2018-10-25 21:28:12 524 9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人