自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

愤怒的小兵

跳跃式前进,波动式起伏

  • 博客(3)
  • 资源 (24)
  • 收藏
  • 关注

原创 Spark参数调优实践

参数设置方法 Spark任务在提交时,可以通过以下几种方式进行参数设置: 环境变量 通过配置文件spark-env.sh添加,如 export JAVA_HOME=/usr/local/jdk export SCALA_HOME=/usr/local/scala export SPARK_MASTER_IP=127.0.0.1 export SPARK_MASTER_WEBUI_PORT=8088 export SPARK_WORKER_WEBUI_PORT=8099 export SPARK_WORKER

2020-12-31 12:52:36 1395

原创 Spark累加器和广播变量

累加器 累加器有些类似Redis的计数器,但要比计数器强大,不因可以用于计数,还可以用来累加求和、累加合并元素等。 假设我们有一个word.txt文本,我们想要统计该文本中单词“sheep”的行数,我们可以直接读取文本filter过滤然后计数。 sc.textFile("word.txt").filter(_.contains("sheep")).count() 假设我们想分别统计文本中单词"sheep""wolf"的行数,如果按照上述方法需要计算两次 sc.textFile("word.txt").fi

2020-12-30 21:02:57 230

原创 Spark项目打包优化实践

问题描述 在使用Scala/Java进行Spark项目开发过程中,常涉及项目构建和打包上传,因项目依赖Spark基础相关类包一般较大,打包后若涉及远程开发调试,每次打包都消耗多很多时间,因此需对此过程进行优化。 优化方案 方案1:一次全量上传jar包,后续增量更新class POM文件配置(Maven) <dependencies> <dependency> <groupId>org.apache.spark</groupId>

2020-12-28 21:52:54 563

GisUtilForHive.tar.gz

Hive插件,含安装文档,支持百度坐标系转火星坐标系 百度坐标系转WGS84坐标系 坐标转WKT格式 火星坐标系转百度坐标系 火星坐标系转WGS84坐标系 WGS84坐标系经纬度计算距离 经纬度转米制坐标 判断指定位置是否在国内,WGS84坐标系 保留至小数后指定位数 WGS84坐标系转百度坐标系 WGS84坐标系转火星坐标系 米制转经纬度坐标 是否为合规经度 是否为合规纬度

2021-01-22

中国历年台风最佳路径数据

66666 0000 49 0001 0000 0 6 Carmen 20110729 1949011300 0 57 1399 1006 0 1949011306 0 59 1393 1006 0 1949011312 0 63 1387 1006 0 1949011318 0 67 1380 1006 0 1949011400 0 72 1373 1005 0 1949011406 0 77 1367 1005 0

2020-09-21

全世界各国坐标数据集

Code Country latitude longitude AD Andorra 42.546245 1.601554 AE United Arab Emirates 23.424076 53.847818 AF Afghanistan 33.93911 67.709953 AG Antigua and Barbuda 17.060816 -61.796428 AI Anguilla 18.220554 -63.068615 AL Albania 41.153332 20.168331 AM Armenia 40.069099 45.038189

2020-09-21

全球火箭发射场位置和海拔数据

全球火箭发射场位置和海拔数据 Region Country Latitude Longitude Elevation Africa Algeria 31.09951 -2.83581 621.1046753 Africa Algeria 26.71895 0.27691 280.2312927 Africa Congo (Zaire) -7.92587 28.52766 1241.731812 Africa Egypt 30.12575 30.605139 153.7993469 Africa Kenya -2.9408 40.2134 -9.137464523

2020-09-21

国家基础地理信息数据-WGS84投影

100万DEM 一级河流 主要公路 主要铁路 二级河流 五级河流 县级居民地 县级行政界线 四级河流 国界 国界与省界 地市级以上居民地 地级行政界限 首都和省级行政中心

2020-09-21

《大型网站技术架构》读书笔记.pdf

《大型网站技术架构》读书笔记思维导图,初始架构、服务数据分离、缓存改善性能、服务器集群化、数据库读写分离、反向代理CDN、分布式FS/DBS、NOSQL和搜索引擎、业务切分

2020-06-11

GeoJSON格式规范.md

GeoJSON是一种对地理数据结构进行编码的数据格式。 支持类型:点/多点、线/多线、面/多面以及几何集合。

2019-09-18

重要地理信息数据审核发布管理规定

2003年3月25日,国土资源部19号令下发《重要地理信息数据审核公布管理规定》。

2019-05-05

ParaView-4.3.1-Windows-64bit

ParaView是一种开放源代码,多平台的数据分析和可视化应用程序。 ParaView用户可以快速建立可视化,分析其数据使用定性和定量方法。勘探的数据可以做三维交互或编程方式使用ParaView的批处理能力。

2018-10-14

Cesium(可直接用)

Cesium 是通过 Web 浏览器创建 3D 地球和 2D 地图的 JavaScript 库,无需任何插件。Cesium 使用 WebGL 来进行硬件加速图形化;跨平台、跨浏览器;并且针对动态数据进行可视化。

2018-08-14

python学习资料教程

Python源码剖析.pdf Python精要参考(第二版)_翻译.pdf Python网络数据采集.pdf Python计算机视觉编程 (Jan Erik Solem著) 中文pdf版.rar Python高级编程.pdf quantsp研究计划书.pdf Rapid+GUI+Programming+with+Python+and+Qt.pdf think python.pdf visualizing_data.pdf [MySQL.Cookbook(第2版)].(美)迪布瓦.中文版.扫描版.pdf [精通正则表达式(第三版)].(美)佛瑞德.扫描版.pdf 《Python标准库》中文版.pdf 《Python核心编程 第二版》.(Wesley J. Chun ).[PDF]&ckook;.pdf 可爱的Python(哲思社区.插图版_文字版).pdf 常用的正则表达式总结.txt 机器学习实战.pdf 深入学习.Python程序开发.pdf 码农 第5期.pdf 码农 第6期.pdf 码农 第7期.pdf 码农 第8期.pdf 码农第1期.pdf 笨办法学.Python.(第三版).pdf 笨办法学Python.pdf 简明Python教程.pdf 集体智慧编程-python算法应用.pdf 面向对象的思考过程.pdf

2018-06-26

Python基础教程(图片版)

廖雪峰老师网站上截取的内容笔记,从基础语法到开发实战,比较详细全面。

2018-06-26

Matlab教程

本书以 MATLAB R2010a为编写基础,系统讲解 MATLAB基本环境和操作要旨;分章阐述符号计算、 数值计算、计算结果可视化及编程精要;选例展现 MATLAB 精华工具 SIMULINK 的功能级和元器件级仿 真能力;范例剖析 MATLAB版面编辑器的用法和图形用户界面的制作要领;简扼勾画 MATLAB和 WORD 集成一体的 Notebook环境。 全书包含 173 个多年凝炼的计算范例和 83 个开拓思路的习题。所有算例程序可靠、完整,读者可以 完全准确地重现本书所提供的算例结果。习题附有包含彩色图形的电子答案。 书后编有索引,本书所用全部指令及配套的标点符号一览无遗。利用索引,读者很容易查阅演示各指 令和标点使用方法的节次。 全书由印刷版和电子版结合而成。印刷版便于读者进行系统、全面、长时间连续阅读,便于随心的翻 阅、浏览;而电子版则可方便教师制作电子讲稿,方便学生完成电子作业,向读者提供实践本书内容所需 的全部可靠程序,色彩信息和动态交互环境,还能随 MATLAB版本升级而及时地向读者提供新内容。 本书内容充实、篇幅紧凑,是专为理工科院校本科生系统学习 MATLAB 而撰写的,也可供部分研究 生使用。它既可用做教材、课程设计和毕业设计参考用书,也可作为自学用书。

2018-06-26

ArcGIS_Desktop培训教程

目 录 1 引言 ........................................................................................................... 1 1.1 读者定位与预期效果 ................................................................................................ 1 2 ARCGIS 简介 ........................................................................................... 2 2.1 什么是 GIS ................................................................................................................ 2 2.2 ESRI 与 GIS ............................................................................................................... 2 2.3 A RC GIS FAMILY .......................................................................................................... 4 2.4 A RC GIS D ESKTOP ...................................................................................................... 5 2.5 扩展模块 .................................................................................................................... 7 3 软件安装 ................................................................................................... 8 3.1 安装前准备 ................................................................................................................ 8 3.2 安装 A RC GIS D ESKTOP ........................................................................................... 12 4 入门案例 ................................................................................................. 15 4.1 打开地图文档并浏览 .............................................................................................. 15 4.2 编辑数据 .................................................................................................................. 17 4.3 设置数据显示 .......................................................................................................... 19 4.4 地图整饰并输出 ...................................................................................................... 20 5 ARCCATALOG 使用 ............................................................................ 23 . . . .

2018-06-26

GNU make中文手册

目 录Table of Contents GNU make中文手册..................................................................................................................... 1 ver - 3.8 ....................................................................................................................................... 1 第一章:概述...............................................................................................................................7 1.1 概述 ................................................................................................................................. 7 1.2 准备知识 .......................................................................................................................... 8 第二章 GNU make 介绍 ............................................................................................................. 9 2 GNU make 介绍.................................................................................................................... 9 2.1 Makefile简介.................................................................................................................. 10 2.2 Makefile规则介绍........................................................................................................... 11 2.3 简单的示例..................................................................................................................... 12 2.4 make如何工作 ............................................................................................................... 13 2.5 指定变量 ........................................................................................................................ 15 2.6 自动推导规则................................................................................................................. 16 2.7 另类风格的makefile ....................................................................................................... 17 2.8 清除工作目录过程文件................................................................................................... 18 第三章:Makefile 总述.............................................................................................................. 20 3 Makefile总述........................................................................................................................ 20 3.1 Makefile的内容............................................................................................................... 20 3.2 makefile文件的命名 ....................................................................................................... 21 3.3 包含其它makefile文件.................................................................................................... 22 3.4 变量 MAKEFILES.......................................................................................................... 24 3.5 变量 MAKEFILE_LIST .................................................................................................. 26 3.6 其他特殊变量................................................................................................................. 26 3.7 makefile文件的重建 ....................................................................................................... 27 3.8 重载另外一个makefile.................................................................................................... 28 3.9 make如何解析makefile文件........................................................................................... 30 3.9.1 变量取值 .................................................................................................................. 30 3.9.2 条件语句 .................................................................................................................. 31 3.9.3 规则的定义............................................................................................................... 31 3.10 总结 ...............................................................................................................................31 第四章:Makefile的规则 ............................................................................................................ 33 4 Makefile规则........................................................................................................................ 33 4.1 一个例子 ........................................................................................................................ 33 4.2 规则语法 ........................................................................................................................ 34 4.3 依赖的类型..................................................................................................................... 35 4.4 文件名使用通配符.......................................................................................................... 36 4.4.1 统配符使用举例........................................................................................................ 37 4.4.2 通配符存在的缺陷.................................................................................................... 38 4.4.3 函数wildcard ............................................................................................................ 38 4.5 目录搜寻 ........................................................................................................................ 39 4.5.1 一般搜索(变量VPATH)........................................................................................ 39 4.5.2 选择性搜索(关键字vpath) .................................................................................... 40 4.5.3 目录搜索的机制........................................................................................................ 41 4.5.4 命令行和搜索目录.................................................................................................... 44 4.5.5 隐含规则和搜索目录................................................................................................. 44 4.5.6 库文件和搜索目录.................................................................................................... 45 4.6 Makefile伪目标............................................................................................................... 46 4.7 强制目标(没有命令或依赖的规则) ............................................................................. 50 4.8 空目标文件..................................................................................................................... 50 4.9 Makefile的特殊目标 ....................................................................................................... 51 4.10 多目标............................................................................................................................ 54 4.11 多规则目标..................................................................................................................... 55 4.12 静态模式........................................................................................................................ 56 4.12.1 静态模式规则的语法 ....................................................................................... 56 4.12.2 静态模式和隐含规则 ....................................................................................... 58 4.13 双冒号规则..................................................................................................................... 59 4.14 自动产生依赖................................................................................................................. 60 第五章:规则的命令 .................................................................................................................. 63 5 为规则书写命令 ................................................................................................................... 63 5.1 命令回显 ........................................................................................................................ 63 5.2 命令的执行..................................................................................................................... 64 5.3 并发执行命令................................................................................................................. 65 5.4 命令执行的错误.............................................................................................................. 67 5.5 中断make的执行............................................................................................................ 68 5.6 make的递归执行............................................................................................................ 69 5.6.1 变量MAKE ............................................................................................................... 70 5.6.2 变量和递归............................................................................................................... 71 5.6.3 命令行选项和递归.................................................................................................... 75 5.6.4 -w选项...................................................................................................................... 77 5.7 定义命令包..................................................................................................................... 78 5.8 空命令............................................................................................................................ 80 第六章:Makefile中的变量......................................................................................................... 81 6 使用变量.............................................................................................................................. 81 6.1 变量的引用..................................................................................................................... 82 6.2 两种变量定义(赋值)................................................................................................... 83 6.2.1 递归展开式变量........................................................................................................ 83 6.2.2 直接展开式变量........................................................................................................ 85 6.2.3 定义一个空格 ........................................................................................................... 86 6.2.4 “?=”操作符............................................................................................................. 87 6.3 变量的高级用法.............................................................................................................. 88 6.3.1 变量的替换引用........................................................................................................ 88 6.3.2 变量的套嵌引用........................................................................................................ 88 6.4 变量取值 ........................................................................................................................ 92 6.5 如何设置变量................................................................................................................. 93 6.6 追加变量值..................................................................................................................... 94 6.7 override 指示符............................................................................................................. 96 6.8 多行定义 ........................................................................................................................ 98 6.9 系统环境变量................................................................................................................. 99 6.10 目标指定变量............................................................................................................... 101 6.11 模式指定变量............................................................................................................... 103 第七章:Makefile的条件执行................................................................................................... 104 7 Makefile的条件判断........................................................................................................... 104 7.1 一个例子 ...................................................................................................................... 104 7.2 条件判断的基本语法 .................................................................................................... 105 7.3 标记测试的条件语句 .................................................................................................... 108 第八章:make的内嵌函数........................................................................................................ 109 8 make的函数....................................................................................................................... 109 8.1 函数的调用语法............................................................................................................ 109 8.2 文本处理函数............................................................................................................... 110 8.2.1 $(subst FROM,TO,TEXT) ..................................................................................... 110 8.2.2 $(patsubst PATTERN,REPLACEMENT,TEXT) ................................................... 110 8.2.3 $(strip STRINT)..................................................................................................... 112 8.2.4 $(findstring FIND,IN)............................................................................................ 112 8.2.5 $(filter PATTERN…,TEXT)................................................................................... 112 8.2.6 $(filter-out PATTERN...,TEXT)............................................................................. 113 8.2.7 $(sort LIST)........................................................................................................... 113 8.2.8 $(word N,TEXT).................................................................................................... 114 8.2.9 $(wordlist S,E,TEXT)............................................................................................ 114 8.2.10 $(words TEXT) ............................................................................................ 114 8.2.11 $(firstword NAMES…) ................................................................................ 115 8.3 文件名处理函数............................................................................................................ 115 8.3.1 $(dir NAMES…) .................................................................................................... 115 8.3.2 $(notdir NAMES…)............................................................................................... 116 8.3.3 $(suffix NAMES…) ............................................................................................... 116 8.3.4 $(basename NAMES…) ....................................................................................... 117 8.3.5 $(addsuffix SUFFIX,NAMES…) ........................................................................... 117 8.3.6 $(addprefix PREFIX,NAMES…)........................................................................... 118 8.3.7 $(join LIST1,LIST2)............................................................................................... 118 8.3.8 $(wildcard PATTERN).......................................................................................... 119 8.4 foreach 函数................................................................................................................ 119 8.5 if 函数.......................................................................................................................... 120 8.6 call函数........................................................................................................................ 121 8.7 value函数..................................................................................................................... 123 8.8 eval函数....................................................................................................................... 124 8.9 origin函数..................................................................................................................... 125 8.10 shell函数...................................................................................................................... 127 8.11 make的控制函数.......................................................................................................... 128 8.11.1 $(error TEXT…)........................................................................................... 128 8.11.2 $(warning TEXT…)...................................................................................... 129 第九章:执行make .................................................................................................................. 130 9 执行make .......................................................................................................................... 130 9.1 指定makefile文件......................................................................................................... 130 9.2 指定终极目标............................................................................................................... 131 9.3 替代命令的执行............................................................................................................ 133 9.4 防止特定文件重建........................................................................................................ 135 9.5 替换变量定义............................................................................................................... 136 9.6 使用make进行编译测试............................................................................................... 137 9.7 Tmake的命令行选项.................................................................................................... 138 第十章:make的隐含规则........................................................................................................ 143 10 使用隐含规则............................................................................................................... 143 10.1 隐含规则的使用............................................................................................................ 143 10.2 make的隐含规则一览................................................................................................... 145 10.3 隐含变量...................................................................................................................... 148 10.3.1 代表命令的变量 ............................................................................................ 149 10.3.2 命令参数的变量 ............................................................................................ 150 10.4 make隐含规则链.......................................................................................................... 151 10.5 模式规则...................................................................................................................... 153 10.5.1 模式规则介绍................................................................................................ 153 10.5.2 模式规则示例................................................................................................ 155 10.5.3 自动化变量.................................................................................................... 156 T10.5.4 T模式的匹配 ................................................................................................. 159 10.5.5 万用规则....................................................................................................... 160 10.5.6 重建内嵌隐含规则......................................................................................... 161 10.6 缺省规则...................................................................................................................... 162 10.7 后缀规则...................................................................................................................... 162 10.8 隐含规则搜索算法........................................................................................................ 164 第十一章:使用make更新静态库文件...................................................................................... 166 11 更新静态库文件............................................................................................................ 166 11.1 库成员作为目标............................................................................................................ 166 11.2 静态库的更新............................................................................................................... 167 11.2.1 更新静态库的符号索引表.............................................................................. 168 11.3 make静态库的注意事项............................................................................................... 168 11.4 静态库的后缀规则........................................................................................................ 169 第十二章 : GNU make的特点............................................................................................... 170 12 GNU make的一些特点................................................................................................. 170 12.1 源自System v的特点.................................................................................................... 170 12.2 源自其他版本的特点 .................................................................................................... 171 12.3 GNU make自身的特点................................................................................................. 172 第十三章 和其它版本的兼容.................................................................................................... 174 13 不兼容性...................................................................................................................... 174 第十四章 Makefile的约定 ........................................................................................................ 176 14 书写约定...................................................................................................................... 176 14.1 基本的约定................................................................................................................... 176 14.2 规则命令行的约定........................................................................................................ 178 14.3 代表命令变量............................................................................................................... 179 14.4 安装目录变量............................................................................................................... 180 14.5 Makefile的标准目标名.................................................................................................. 185 14.6 安装命令分类............................................................................................................... 190 第十五章 make的常见错误信息............................................................................................... 193 15 make产生的错误信息................................................................................................... 193 附录1:关键字索引.................................................................................................................. 196 GNU make可识别的指示符:.............................................................................................. 196 GNU make函数: ............................................................................................................... 197 GNU make的自动化变量..................................................................................................... 197 GNU make环境变量............................................................................................................ 198 后序 ......................................................................................................................................... 198

2018-06-26

GitHub桌面版

一个面向开源及私有软件项目的托管平台,因为只支持git 作为唯一的版本库格式进行托管,故名gitHub。

2018-06-11

mindmaster pro6.2.2

MindMaster 是亿图最新推出的一款跨平台、多功能的思维导图软件。它具有简洁的操作界面、稳定性高、自定义功能强大等特点,让您快速创建内容丰富、时尚精美的思维导图。

2018-05-29

Visual Assistx (VS编码助手)

安装完毕后,重启VS,会多出一个Visual Assistx菜单,用于辅助提高书写和阅读代码效率

2018-05-29

scipy安装包(用于Python导入库,64位)

scipy库导入方法:解压后,打开命令行,切换至C:\Program Files (x86)\Microsoft Visual Studio\Shared\Anaconda3_64\pkgs\pip-9.0.1-py36h226ae91_4\Scripts\目录,输入 pip -install scipy-1.1.0-cp37-cp37m-win_amd64.whl的完整路径名

2018-05-29

Pillow 5.1.1(用于Python导入PIL库,64位)

PIL库导入方法:解压后,打开命令行,切换至C:\Program Files (x86)\Microsoft Visual Studio\Shared\Anaconda3_64\pkgs\pip-9.0.1-py36h226ae91_4\Scripts\目录,输入 pip -install Pillow-5.1.1-cp37-cp37m-win_amd64.whl的完整路径名,按回车即可

2018-05-29

cmake 3.4.1

用以编译网上下载的源码文件,尤其在很多开源库中常用,如OpenSceneGraph,OpenGL,OpenCV等等

2018-05-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除