李八御-CSDN博客

原创 [Ubuntu] [Gunicorn] 部署 flask-web项目无反向代理步骤记录

目录系统环境python环境WEB环境系统环境sudo apt-get updatesudo apt-get upgradesudo apt-get dist-upgrade#安装相关依赖sudo apt-get install build-essential python-dev python-setuptools python-pip python-smbussudo apt-get install build-essential libncursesw5-dev libgdbm-dev

2022-01-27 13:23:16 327 2

原创【VScode】C语言环境配置填坑 | 报错：no iconv implementation | unrecognized command line option “-std=c++11

网上同志们的流程1.安装MinGw2.配置环境变量3.csvode中下载cpp插件4.按f5配置launch.json{ "version": "0.2.0", "configurations": [ { "name": "(gdb) Launch", "preLaunchTask": "Build", "type": "cppdbg",...

2020-02-25 21:48:35 7578 9

原创爬取腾讯视频爬虫评论 python urllib

此文章仅用于笔者交流学习爬虫技术，如有侵权请联系作者删除文章目录通过fiddler找到评论的url分析url找到加载评论信息的规律爬取深度评论代码（不包含子评论）爬取短评（不包含子评论）构建url爬取短评代码（不包含子评论）通过fiddler找到评论的url这里选择的是《权力的游戏第八季》eg:https://video.coral.qq.com/filmreviewr/c/upcomm...

2019-10-18 15:54:10 511

原创 java操作hadoop_java api使用分享

文章目录文件系统对象FileSystem列出文件创建目录删除文件下载文件上传文件重命名文件完整程序文件系统对象FileSystemConfiguration conf = new Configuration();// 获取配置文件对象conf.set("fs.defaultFS", "hdfs://localhost:9000");conf.set("fs.hdfs.impl", "or...

2019-09-30 00:34:22 291 3

原创 Hadoop需要的jar包的导入

Hadoop需要的jar包目录：/usr/local/hadoop/share/hadoop/commonhadoop-common-2.7.1.jarhaoop-nfs-2.7.1.jar目录：/usr/local/hadoop/share/hadoop/common/lib此目录下的所有jar包目录：/usr/local/hadoop/share/hadoop/hdfshaoop...

2019-09-21 11:05:18 15573

原创 Hadoop基本命令

提前话：hadoop fs -cmd：针对通用文件系统的命令，不限于HDFS。包括本地文件、HFTP文件、S3文件系统等hdfs dfs -cmd：只针对HDFS的指令hadoop dfs -cmd：相当于上一条命令的旧版本，已经不推荐使用。在hadoop内部这条指令会被转换为hdfs dfs。Help!!hdfs -dfs -help1.查看文件目录hdfs -dfs -ls...

2019-09-18 11:14:51 297

原创 Window10安装Hadoop 配置步骤

步骤目录为Hadoop准备Java环境下载Hadoop添加Hadoop到系统变量下载便捷配置文件hadooponwindows-masterHadoop配置etc/hadoop/core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlhadoop-env.cmd测试运行格式化HDFS启动！题前话：Hadoop官方认定Hadoop环境最好还是运行...

2019-09-15 22:12:53 1301 12

他的博客