- 博客(9)
- 收藏
- 关注
RSS订阅原创 数据管理应用文档
requirementspython > 3.63.8测试通过，其他版本未测试安装相关依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 启动bash start.sh基本功能同步本地和服务器图片浏览本地标注数据集打开文件-选择下载数据集中的json文件删除更改标注数据上传数据集到服务器数据库浏览查询
2021-12-20 16:26:20
183
原创 2021-04-28
linux 安装redis 完整步骤最近在linux服务器上需要安装redis，来存放数据，增加用户访问数据的速度，由于是第一次安装，于是在百度上搜了一篇文章，按照这篇博客，顺利安装好了，因此将博主的文章拷过来记录一下，方便以后使用，也为需要的朋友提供一个方便，参考博文地址：https://www.cnblogs.com/lauhp/p/8487029.html安装：1.获取redis资源wget http://download.redis.io/releases/redis-4.0.8.tar.
2021-04-28 10:08:16
98
原创 Nvidia jetson NX 安装scipy
Nvidia jetson NX 安装scipy系统安装依赖jetson 直接安装编译 scipy 必定报错， 需要添加如下依赖，直接成功系统安装依赖sudo apt-get install libblas-dev checkinstallsudo apt-get install liblapack-dev checkinstallsudo apt-get install gfortranpip3 install scipy不要着急，编译半小时。。。...
2021-04-13 17:29:32
600
原创 Nvidia-docker 配置 Tensorrt环境
主机端配置NVIDIA 驱动安装NOTE:NVIDIA 内核驱动版本与系统驱动一定要一致输入下条命令，查看你的显卡驱动所使用的内核版本cat /proc/driver/nvidia/versiong@g-Inspiron-5675:~$ cat /proc/driver/nvidia/versionNVRM version: NVIDIA UNIX x86_64 Kernel Mo...
2019-11-19 15:57:49
3037
原创 pytorch模型compression-prune,sparsity,quantization
pytorch模型compression-prune,sparsity,quantizationsparsityFilter Prunerchannel prunermobile_net quantization 实验数据sparsityPruning individual weight elements is called element-wise pruning, and it is a...
2019-11-08 13:47:26
569
转载 sparksql的三种join实现
sparksql的三种join实现引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景：Broadcast Hash Join ： 适合一张较小的表和一张大表进行joinShuffle Hash Joi...
2018-12-11 19:17:26
847
原创 spark运行原理和启动
#集群启动spark-shell（指定了集群的参数）–集群主机url --核心数 --使用内存 --运行程序 --路径/opt/spark/bin/spark-shell --master spark://master1:7077 --executor-memory 512mSpark集群中运行.py文件命令：/opt/spark/bin/spark-submit --master...
2018-11-28 17:45:00
192
转载 Hive优化，基于MR的分析
Hive优化总结优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几...
2018-11-27 10:27:37
685
原创 惊云网盘技术文档
**123网盘技术文档**1，背景：刚刚学习了hdfs，以及HBase等框架，为了加深理解，特以此网盘小项目作为试炼。2，简介123网盘项目主要模仿市面上的网盘的一些基本功能，舍弃了页面，交互等高级的应用功能，以练习基础为出发点，自我开发设计，主要实现了的功能有：登陆、注册显示文件信息内存空间计算上传下载创建目录删除文件3，技术选型主要依托：大数据与...
2018-10-25 21:28:12
419
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人