- 博客(30)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【python】一行命令导出项目依赖包
利用pipreqs导出项目依赖的包pip install pipreqs在当前项目的根目录下执行pipreqs ./ --use-local --encoding utf8会在当前生成依赖文件安装依赖包pip install -r requements.txt
2022-05-17 20:17:35
180
原创 jupyter notebook代码提示设置
step1 安装扩展包pip install jupyter_contrib_nbextensionspip install jupyter_nbextensions_configuratorjupyter contrib nbextension install --userjupyter nbextensions_configurator enable --userstep2 在jupyter notebook 前端中的Nbextensions项设置开启Hinterland...
2022-01-20 20:55:26
666
原创 anaconda3环境配置
pathD:\ProgramFiles\anaconda3D:\ProgramFiles\anaconda3\ScriptsD:\ProgramFiles\anaconda3\Library\bin
2022-01-10 17:12:36
195
原创 构建大数据环境脚本
#!/usr/bin/env bash# 构建大数据环境sudo chown -R ht /home/htsudo chgrp -R ht /home/ht## Update & install dependencies#sudo apt-get update && sudo DEBIAN_FRONTEND=noninteractive apt-get -y -o DPkg::options::="--force-confdef" -o DPkg::options
2021-12-18 14:29:06
1364
原创 dlib安装
Visual studion c++ 安装https://visualstudio.microsoft.com/zh-hans/downloads/选择c++ 桌面开发版安装cmakepip install cmake安装boostpip install boost安装dlibpip install dlib
2021-12-13 22:31:10
898
原创 机器学习-集成学习
集成学习集成思想Bagging随机深林(RF)Boosting代表算法AdaboostGBDT（Greadient boosting decision tree）代表实现：XGBoostLightGBMCatBoostStackingBlending集成学习概述：通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system)。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集
2021-12-06 23:32:21
388
原创 cuda安装
方式一：验证英伟驱动是否安装nvidia-smi，以及安装的驱动版本方式二：查看驱动版本信息cuda toolkit与driver对应表：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html下载cuda toolkit下载cuDnn（需要注册账号，随便填）在官网，资源中下载cuDNN选择自定义安装，勾选cuda组件安装路径选择（我选择默认路径）下一步，勾选undestan装好后会默认生成cuda_pa
2021-12-04 16:27:40
11039
原创 剑指大数据面试：
文章目录linux相关常考的内容：小文件HDFS架构概念：HA（高可用）小文件是什么小文件定义：为什么会有小文件小文件给Hadoop集群带来的瓶颈问题怎么解决小文件问题：SQL on Hadoop业界常用sql on hadoop框架概述行式存储 vs 列式存储常用调优策略宏观角度分析架构层调优分表分区表充分利用中间结果压缩压缩概述：压缩选型语法层调优order by 和 sort bydistribute by 和 cluster by控制输出(reduce/partition/task)的数量执行计划普
2021-11-29 01:10:11
1252
1
原创 深度学习资料连接汇总
机器之心RNN总结：https://www.jiqizhixin.com/articles/2018-12-14-4微软九步学习法：https://github.com/computing-intelligence/ai-edu/blob/master/B-%E6%95%99%E5%AD%A6%E6%A1%88%E4%BE%8B%E4%B8%8E%E5%AE%9E%E8%B7%B5/%E5%85%88%E4%BF%AE%E7%9F%A5%E8%AF%86%E5%8F%82%E8%80%83%E9%98%8
2021-11-27 21:59:09
964
原创 深度学习算法
深度学习文章目录深度学习机器学习基础计算机视觉：基础补充：计算机视觉图片分类算法目标检测算法语义分割生成式（Generative）视觉追踪（目标追踪）人体姿态识别光学字符识别（OCR-Optical Character Recognition）自然语言（NLP）序列模型:word2vec词嵌入（Word Embedding）推荐算法BI方向：预测全家桶：时间序列：矩阵分解与因子分解机PageRank、图论与推荐系统知识图谱风控模型（评分卡模型）项目列表唐宇迪基础概念补充：机器学习基础k-means、距
2021-11-24 08:04:15
466
原创 AI开发工程师技能汇总
python：numpypandasmatplotlibpytorchTensorflowMindspore算法：CV类算法：图片分类目标检测目标追踪OCRGANNLP算法：机器学习：逻辑回归k-means聚类决策树随机森林GBDTPCA数据库：Mysql/Oracle数据：存储过程触发器函数视图开窗函数hivelinux:基本命令环境配置用户创建spark：开发调优资源调优数据倾斜shuffle数据抽取：kettlesqoo
2021-11-17 22:43:40
2458
原创 深度学习数学基础知识
数学基础知识高等数学1.导数定义：2.左右导数导数的几何意义和物理意义3.函数的可导性与连续性之间的关系4.平面曲线的切线和法线5.四则运算法则6.基本导数与微分表7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法8.常用高阶导数公式9.微分中值定理，泰勒公式10.洛必达法则11.泰勒公式12.函数单调性的判断13.渐近线的求法14.函数凹凸性的判断15.弧微分16.曲率17.曲率半径线性代数行列式矩阵向量线性方程组矩阵的特征值和特征向量二次型概率论和数理统计随机事件和概率随机变量及其概率分布多维
2021-10-10 20:20:20
105
原创 深度学习实验手册
深度学习实验手册文章目录深度学习实验手册一、基础理论1. 自定义感知机2. 验证图像卷积运算效果二、OpenCV部分1. OpenCV安装2. OpenCV基本操作1）读取、图像、保存图像3. 图像色彩操作1）彩色图像转换为灰度图像2）色彩通道操作3）灰度直方图均衡化4）彩色亮度直方图均衡化5）色彩提取6）二值化与反二值化4. 图像形态操作1）图像翻转2）图像仿射变换3）图像缩放4）图像裁剪5）图像相加6）图像相减7）透视变换8）图像腐蚀9）图像膨胀10）图像开运算11）图像闭运算12）形态学梯度5.
2021-09-26 21:47:19
938
原创 深度学习-人脸检测与人脸识别
人脸检测与人脸识别一、概述1. 基本概念人脸是个人重要的生物特征，业界很早就对人脸图像处理技术进行了研究。人脸图像处理包括人脸检测、人脸识别、人脸检索等。人脸检测是在输入图像中检测人脸的位置、大小；人脸识别是对人脸图像身份进行确认，人脸识别通常会先对人脸进行检测定位，再进行识别；人脸检索是根据输入的人脸图像，从图像库或视频库中检索包含该人脸的其它图像或视频。2. 人脸检测与识别的应用实名认证人脸考勤刷脸支付、刷脸检票公共安全：罪犯抓捕、失踪人员寻找3. 传统人脸检测与人脸识别方法1）
2021-09-06 22:37:19
196
原创 深度学习-生成对抗网络（GAN）
生成对抗网络（GAN）一、概述生成对抗网络（Generative Adversarial Networks）是一种无监督深度学习模型，用来通过计算机生成数据，由Ian J. Goodfellow等人于2014年提出。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。生成对抗网络被认为是当前最具前景、最具活跃度的模型之一，目前主要应用于样本数据生成、图像生成、图像修复、图像转换、文本生成等方向。
2021-09-06 22:31:03
300
原创 常用软件记录
文本工具：Notepad++sublimeTyporaBI工具：tableaufineBipowerBi编辑工具：eclipseideapycharmsublimevscode数据标注软件：labelme剪辑工具Ev录屏
2021-07-19 21:09:36
186
2
原创 安装opencv
python -m pip install gensimpython -m pip install python_speech_features[lib]python -m pip install hmmlearn-0.2.1-cp36-cp36m-win_amd64.whl[lib]python -m pip install cvxopt-1.1.9-cp36-cp36m-win_amd64.whl[lib]python -m pip install pystruct-0.2.5-cp36-cp3
2021-05-13 22:48:04
110
1
原创 流畅的Python
流畅的Python文章目录流畅的Python第一部分第一章Python数据模型第二部分 数据结构第2章 序列构成的数组第3章 字典和集合第4章 文本和字节序列第三部分 把函数视作对象第5章 一等函数第6章 使用一等函数实现设计模式第7章 函数装饰器和闭包第四部分 面向对象惯用方法第8章 对象引用、可变性和垃圾回收第9章 符合Python风格的对象第10章 序列的修改、散列和切片第11章 接口：从协议到抽象基类第12章 继承的优缺点第13章 正确重载运算符第五部分 控制流程第14章 可迭代的对象、迭代器和生
2021-05-13 22:20:15
518
原创 吴恩达老师学习笔记
文章目录神经网络和深度学习深度学习神经网络的编程基础浅层神经网络深层神经网络改善深层神经网络：超参数调试、正则化、以及优化深度学习实践层面优化算法（Optimization algorithms）超参数调试、Batch正则化和程序框架（Hyperparameter tuning）结构化机器学习项目机器学习策略一机器学习策略二卷积神经网络卷积神经网络深度卷积网络：实例探究目标检测特殊应用：人脸识别和神经风格转换序列模型（Sequence Models）循环序列模型（ReCurrent Neural Netwo
2021-03-18 22:45:45
72
原创 Linux添加用户&相关问题
Linux useradd 命令用于建立用户帐号使用 useradd 指令所建立的帐号，实际上是保存在 /etc/passwd 文本文件中。-c<备注> 加上备注文字。备注文字会保存在passwd的备注栏位中。-d<登入目录> 指定用户登入时的起始目录。-D 变更预设值．-e<有效期限> 指定帐号的有效期限。-f<缓冲天数> 指定在密码过期后多少天即关闭该帐号。-g<群组> 指定用户所属的群组。-G<群组>
2021-01-10 13:57:29
97
原创 sqoop基本使用案例
sqoop数据导入导出导入数据导入HDFS导入到HDFS// \代表在shell窗口中换行bin/sqoop import \// 连接的url--connect jdbc:mysql://hadoop102:3306/mydb \// 用户名--username root \// 密码--password 123456 \// 要导哪个表的数据--table staff \// 将数据导入到hdfs的哪个路径--target-dir /company \// 如果目
2020-08-16 21:05:38
104
原创 kafka consumer&producer
kafka consumerimport sys, os, reimport jsonfrom kafka import KafkaConsumer, TopicPartitionconsumer = KafkaConsumer()consumer.assign([TopicPartition('classification_request_topic', 0)])consumer.seek_to_beginning()for message in consumer: message_
2020-05-14 22:41:19
87
原创 SparkStreaming+kafka连接模式
SparkStreaming+kafkaReceiver模式处理流程优缺点：Direct 模式优缺点：direct模式代码demoReceiver模式采用Receiver 接受器模式 ，需要有一个线程一直被占用接受数据，使用kafka 高阶api 读取kafka 消息，使用zookeeper来管理offset,consumer自己去zookeeper中维护处理流程sparkStreaming启动时，driver进程将对excutor(即worker节点）执行长时间运行任务；excutor中的re
2020-05-14 22:37:38
142
原创 flume 监听日志，增量写入hdfs
拟使用F l u m e 监听日志变化，并且把增量的日志文件写入到h d f s 中# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1....
2020-05-07 23:18:15
167
原创 airflow 实现自动化工作流
```pythonimport sys, os, refrom airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom datetime import datetime, timedeltaimport iso8601PROJECT_HOME = os.environ["PRO...
2020-04-28 22:22:01
369
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人