- 博客(11)
- 收藏
- 关注
RSS订阅转载 Spark如何在一个SparkContext中提交多个任务
Spark如何在一个SparkContext中提交多个任务博客分类： Sparkspark在使用spark处理数据的时候，大多数都是提交一个job执行，然后job内部会根据具体的任务，生成task任务，运行在多个进程中，比如读取的HDFS文件的数据，spark会加载所有的数据，然后根据block个数生成task数目，多个task运行中不同的进程中，是并行的，如果在同一个进程中一个JVM里面有多个task，那么多个task也可以并行，这是常见的使用方式。考虑下面一种场景，在HDFS上某个目录下面有10
2022-03-08 21:43:45
801
原创 akka remote配置监听端口配置无效
akka remote配置监听端口无效问题描述服务器端配置：启动后显示监听端口与配置文件中设置的端口不一致分析问题如下RemoteTransport源码查看官网文档，找到ArteryTransport使用配置文件格式修改配置文件内容之后启动服务端，监听端口改变启动客户端报协议不对，是因为书里指定的协议不对，修改如下：程序还报序列化有问题如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新
2021-08-06 15:33:31
1001
原创 eclipse an error has occurred eclipse
eclipse an error has occurred eclipse删除工作空间下.metadata中org.eclipse.e4.workbench下的workbench.xmi，重启eclipse，解决问题
2021-06-28 17:27:02
323
原创 sparksql agg用法
sparkSql agg用法，样例代码样例代码 def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("JoinCoreApiTest").master("local").getOrCreate() val sc = spark.sparkContext sc.setLogLevel("ERROR") import spark.implicits._
2020-11-23 16:31:13
1914
原创 solr8配置文件热更新操作流程
solr8配置文件热更新操作流程首先通过命令，将配置集下载到本地：ZK 下载参数下面列出的所有参数是必需的。-n ：在 ZooKeeper 中设置的配置名称。管理界面 Cloud -> Tree -> configs 节点>列出所有可用的配置集。例如：-n myconfig-d ：将下载的配置集写入到的路径。如果只提供一个名称，>$SOLR_HOME/server/solr/configsets将是父级。绝对路径也可以被提供。无论哪种情况，目标上预先存在的配置将被
2020-08-20 11:38:01
406
原创 linux centos7 安装elasticsearch-head
1、操作系统版本2、下载elasticsearch-head插件下载地址：https://github.com/mobz/elasticsearch-head3、下载node.jshttps://cdn.npm.taobao.org/dist/node/v14.3.0/node-v14.3.0-linux-x64.tar.xz4、安装node.js解压 node-v14.3.0-linux-x64.tar.xzexport NODE_HOME=/u01/node-v14.3.0-linux-x
2020-06-28 19:19:27
287
原创 使用hive连接hbase
通过hive创建hbase外部表语句：create external table test1(r string,a string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,c:a")TBLPROPERTIES("hbase.table.name" = "test:test1");test:test1 是tes
2020-06-24 16:54:03
192
转载 DOM解析XML报错：Content is not allowed in prolog
标题DOM解析XML报错：Content is not allowed in prolog报错内容为：Content is not allowed in prolog. Nested exception: Content is not allowed in prolog.网上所述总结来说就是 解析内容内包含BOM 。这个标记是看不到的，流里面有这个标记而已。BOM：Byte Order Mark，中文名字节顺序标记。UCS规范建议在传输字节流前，先传输BOM来判断字节顺序。其实UTF-8是不需要用
2020-06-23 10:59:57
735
原创 ConcurrentHashMap源码分析
private static final int MAXIMUM_CAPACITY = 1 << 30; private static final int DEFAULT_CAPACITY = 16; static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8; private static final int DEFAULT_CONCURRENCY_LEVEL = 16; static final int TREEIFY_THRESHOLD =
2020-06-04 11:33:24
88
转载 Spark动态资源分配-Dynamic Resource Allocation
Spark动态资源分配-Dynamic Resource AllocationSpark lxw1234@qq.com 4年前 (2015-12-31) 34166℃ 7评论关键字：spark、资源分配、dynamic resource allocationSpark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在Spark On Yarn模式...
2020-04-28 08:43:35
287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人