- 博客(34)
- 收藏
- 关注
RSS订阅原创 jupyter notebook远程连接服务器（终于彻底解决了）
其实是很小的问题，但纠结了好久，博客上一大片的怎么配置config，怎么配置端口，一大堆，感觉从来没有人遇到过网址复制过去localhost拒绝访问的问题，即使有也就无非就那么几点；1.说是防火墙的问题，把防火墙关掉就好了A：那我问你如果你用的公司或实验室的服务器，没有权限怎么办？就不用了，直接vim？2.jupyter notebook -ip=XXXXA；反正我是一点用没有，而且-ip的作用和你把localhost换成ip地址有什么区别？我也不知道怎么很多人成功，可能没有像我一样就是根深蒂固的拒
2021-03-10 15:37:32
36973
17
转载 解决vscode或pycharm无法连接远程服务器的问题
网上看的一大堆全都没帮助，主要就是两个操作，一是指令：当错误是：The authenticity of host xxx can’t be established.执行ssh -o StrictHostKeyChecking=no xxx 用户名@ip原理：用OpenSSH的人都知ssh会把你每个你访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts。当下次访问相同计算机时，OpenSSH会核对公钥。如果公钥不同，OpenSSH会发出警告，避免你受到DNS H
2021-03-04 11:28:44
7449
2
原创 An Efficient Design and Implementation of LSM-Tree based Key-Value Store on Open-Channel SSD
摘要各种键值（KV）存储被广泛用于数据管理以支持Internet服务，因为它们提供了比关系数据库系统更高的效率，可伸缩性和可用性。基于日志结构的合并树（LSM-tree）的KV存储吸引了越来越多的关注，因为它们可以消除随机写入并保持可接受的读取性能。最近，随着NAND闪存每单位价格的下降，固态磁盘（SSD）已在企业级数据中心中广泛采用，以提供高I / O带宽和低访问延迟。但是，将基于LSM树的KV存储与SSD幼稚地组合起来效率低下，因为无法充分利用SSD内启用的高度并行性。当前基于LSM树的KV存储在设计
2020-05-29 12:02:25
5050
原创 LSM-tree
摘要TPC-A基准测试应用程序是一个众所周知的设置示例，已对其进行了修改，以支持对历史记录进行有效查询以查询特定帐户的帐户活动。这需要在快速增长的“历史记录”表上按帐户ID进行索引。不幸的是，基于标准磁盘的索引结构（例如B树）将使事务的I / O成本有效地翻倍，以实时维护这样的索引，从而使总系统成本增加多达50％。显然，需要一种以低成本维持实时索引的方法。日志结构合并树（LSM-tree）是一种基于磁盘的数据结构，旨在为长期记录插入（和删除）率很高的文件提供低成本索引。 LSM树使用一种推迟和分批索引更改
2020-05-27 18:44:34
546
原创 Anaconda安装以及tensorflow-gpu的配置和jupyter-notebook使用
anaconda安装以及cuda和cudnn的选择linklinkjupyter-notebook的工作空间修改方法link注意：属性的目标位置要放E:\Anaconda\Anaconda_install\envs\所创建的环境名称\Scripts\jupyter-notebook.exe,起始位置可以放自己的工作空间位置。...
2020-05-06 22:02:34
667
原创 Image Captioning with Semantic Attention
摘要自动生成图像的自然语言描述水冲浪者最近引起了人们的兴趣，这不仅是因为冲浪者在实际应用中的重要性，而且因为它连接了两个主要的人工智能领域：计算机视觉和自然语言处理。现有的方法要么是自上而下的，即从图像的要点开始，然后将其转换为单词，要么是自下而上的，即提出描述图像各个方面的单词，然后将它们组合在一起。在本文中，我们提出了一种通过语义注意模型将两种方法结合在一起的新算法。我们的算法学习选择性地注...
2020-04-23 13:43:45
316
原创 Generative Adversarial Nets:GAN
摘要我们提出了一个通过对抗过程来估计生成模型的新框架，在该框架中，我们同时训练了两个模型：一个捕获数据分布的生成模型G和一个估计样本来自训练的概率的区分模型D数据而不是G。G的训练过程是使D犯错的可能性最大化。该框架对应于minimax两人游戏。在任意函数G和D的空间中，存在唯一的解决方案，其中G恢复训练数据分布，并且D各处都等于1/2。在G和D由多层感知器定义的情况下，整个系统可以通过反向传播...
2020-04-20 11:48:18
313
原创 同步图计算：Graph Coloring问题详细解答
终于把这个问题解决了，一直被卡在一个点，想了一天都没想出来，也一直觉得自己的算法是正确的，最后，拿出纸笔，推了一遍算法执行过程，才发现了其中隐藏的大bug，事实证明，千万不能懒，千万不能盲目自信。赶紧写篇博客记录一下，任务如下首先看一下给的example的README部分和提前的准备工作，也了解如何运行和编辑文件，在example模板的基础上去修改。---------------------...
2020-04-16 20:11:03
809
2
原创 Hadoop编程作业part1，利用MapReduce计算
Map是将输入的一个key-value记录<ik.iv>输出为多个key-value记录<mk,mv>，Reduce函数则是输入一个mk和与之对应的mv，输出为多个key-value记录<ok,ov>，在示例中，老师给了一个WordCount的例子，网上有一篇博客记录的特别好，如下在这个例子的基础上进行修改，完成如下的目标任务。思路就是直接map + re...
2020-04-14 23:15:54
452
原创 vscode远程连接docker容器
纠结了一上午，看了无数博客没有一个能解决我的问题的，浪费了大量时间最后发现就是最简单的操作。很是不爽。首先要明白vscode是一个非常强大的编辑器，编辑器就是为了让你写代码更方便更快捷，vscode中的插件都是这个终极目的的辅助。明白了之后，就要考虑自己的目的是什么，首先原来自己使用docker容器，都是启动docker，打开cmd，docker run blabla ,docker exec...
2020-04-14 15:31:41
64419
34
原创 Cambricon-X: An Accelerator for Sparse Neural Networks
摘要神经网络（NNs）已被证明在广泛的应用中很有用，例如图像识别，自动翻译和广告推荐。由于不断增加的深层结构，即具有大量神经元和连接（即突触）的多层结构，因此，最新的NN既需要大量计算又需要大量内存。稀疏神经网络已成为减少所需计算量和内存量的有效解决方案。尽管现有的NN加速器能够有效处理密集且规则的网络，但它们无法从突触权重的降低中受益。在本文中，我们提出了一种新型的加速器Cambricon-X...
2020-04-01 22:23:46
1130
1
原创 从HDFS中读文件，进行Hash based groupby处理，再写入Hbase（任务总结）
大数据系统的任务要求，从HDFS中读文件，进行Hash based groupby处理，再写入Hbase。首先要仔细学会使用docker，菜鸟教学上对docker的教程很快就可以入门，该任务的环境已经在docker中配置好，要了解什么是镜像，什么是容器，如何下载镜像，如何通过镜像打开一个容器。熟悉一些docker指令。当学会了用docker的简单功能之后，就可以开始have fun了！...
2020-03-27 00:07:55
1158
1
原创 在win10自带的mail中如何设置学校邮箱
最近突然有项目缘故需要用到学校(所内)邮箱，然而该邮箱不常用，费了好长时间找回密码，好不容易找到密码就想为了信息接受的及时添加到win10的mail里吧，结果发现怎么添加都添加不上，最后得以解决，虽然是个很小的事，但是记录一下过程吧。首先要在添加账户选择高级设置，然后选择Internet电子邮件设置。之后进入里面配置，配置的信息在你想要绑定的邮箱首页的帮助里都可以找到，比如中国科学院的邮件...
2020-03-25 18:13:01
33251
5
原创 CHALLENGES IN PARALLEL GRAPH PROCESSING
摘要图形算法对于解决科学计算，数据挖掘和其他领域的许多问题变得越来越重要。随着这些问题规模的扩大，需要并行计算资源来满足其计算和内存要求。不幸的是，对于开发主流并行科学应用程序运行良好的算法，软件和硬件不一定对大规模图形问题有效。在本文中，我们介绍了当前最先进的图形问题，软件和并行硬件之间的相互关系，并讨论了这些问题如何在解决大规模图形问题时带来固有的挑战。这些挑战的范围为开发可解决图形问题的可...
2020-03-20 20:16:12
173
原创 Novel Graph Processor Architecture, Prototype System, and Results
摘要图形算法越来越多地用于利用大型数据库的应用程序中。但是，常规的处理器体系结构不足以处理图形计算的吞吐量和内存需求。林肯实验室的图形处理器体系结构代表了对图形问题的并行体系结构的重新思考。我们的处理器利用了创新技术，包括基于稀疏矩阵的图形指令集，无缓存存储系统，基于加速器的体系结构，收缩分类器，高带宽多维环形通信网络和随机通信。已经开发了新图形处理器的现场可编程门阵列（FPGA）原型，在图形计...
2020-03-20 11:51:05
228
原创 GPS: A Graph Processing System
摘要GPS（用于图形处理系统）是我们开发的完整的开源系统，用于在极大的图形上进行可伸缩，容错和易于编程的算法执行。本文起着双重作用，即描述GPS系统，并为分布式图形处理系统（如GPS）中的图形划分提供技术和实验结果。 GPS与Google专有的Pregel系统相似，具有三个新功能：（1）扩展的API，使全局计算更容易表达和更高效；（2）一种动态重分配方案，该方案基于消息传递模式在计算过程中将...
2020-03-19 12:27:03
502
原创 Pregel: A System for Large-Scale Graph Processing
摘要许多实际的计算问题都与大型图有关。标准示例包括Web图形和各种社交网络。这些图的规模（在某些情况下为数十亿个顶点，数万亿条边）给它们的有效处理带来了挑战。在本文中，我们提出了适合该任务的计算模型。程序被表示为一系列迭代，在每个迭代中，一个顶点可以接收在先前迭代中发送的消息，将消息发送到其他顶点，并修改其自身的状态以及其输出边或突变图拓扑的状态。这种以顶点为中心的方法足够灵活，可以表达各种算法...
2020-03-16 18:13:30
223
原创 使用ffmpeg下载m3u8并转化为MP4视频格式
因为网页视频下载的需要，需要把m3u8文件转换为MP4文件进行观看，于是发现了好用的ffmpeg。ffmpeg是一个开源的音视频转码工具,它提供了录制、转换以及流化音视频的完整解决方案，可以转码、压制、提取、截取、合并、录屏等。安装ffmpeg首先官网下载下载地址：http://ffmpeg.zeranoe.com/builds/FFmpeg分为3个版本：Static、 Shared、...
2020-03-15 19:41:13
9470
原创 GraphGen: An FPGA Framework for Vertex-Centric Graph Computation
摘要以顶点为中心的图形计算已广泛应用于对图形数据结构进行操作的许多机器学习和数据挖掘应用程序中。本文介绍了GraphGen，这是一个以FPGA为中心的顶点为中心的框架，用于图形计算的硬件加速。 GraphGen接受以顶点为中心的图形规范，并将其自动编译到目标FPGA平台的特定于应用程序的综合图形处理器和存储系统上。我们报告了使用GraphGen在Terasic DE4和Xilinx ML605 ...
2020-03-15 16:20:49
552
原创 A Framework for FPGA Acceleration of Large Graph Problems: Graphlet Counting Case Study
摘要在许多应用领域中，数据都是使用涉及数百万个顶点和边的大型图形表示的。图分析算法（例如查找短路径和同构子图）在很大程度上受内存延迟的支配。如果可以对图形数据进行分区，则基于大型集群的计算平台可以高效地处理图形，并且可以在较小规模的分区上将图形分配给可重配置设备中的低延迟片上RAM。但是，有许多图类，例如无标度的社交网络，它们缺乏使图数据分区成为延迟问题的有效解决方案的局限性，并且太大而无法容纳...
2020-03-14 16:51:40
362
原创 (leeetcode 300)C++动态规划实现最长上升子序
题目描述给定一个无序的整数数组，找到其中最长上升子序列的长度。思路官网给出了动态规划的方法，初学动态规划，比较巧妙，但是时间复杂度比较高，为O(n2)动态规划的思想定义 dp[i]，dp[i] 为考虑前 i元素，以第 i个数字结尾的最长上升子序列的长度，注意 nums[i] 必须被选取。（定义非常重要！）#include<algorithm>class Solution...
2020-03-14 14:47:13
120
原创 (leetcode13)C++实现罗马数字转整数
思路一个字符串如果左边的值小于右边的值，就减，若大于右边的值就加。罗马数字转换为阿拉伯数字的时候，实际上是从左到右将每个字符对应的值累加的过程。例如“XVI”，实际就是10（X）+5（V）+1（I）。只不过由于存在特殊规则增加了这个过程的复杂，不过同样可以用上面的思路解决。举个例子，“IX”，可以看作是-1+10=9；“XIX”可以看作是10-1+10=19。题目又告诉我们，通常情况下，罗...
2020-03-14 12:24:53
270
原创 (leetcode169）C++解决多数元素问题以及迭代器和map的使用
首先先对Map的使用做一个简单的总结。Map是c++的一个标准容器，她提供了很好一对一的关系。Map中构造方式为 map<string , int >mapstring; map<int ,string >mapint; map<sring, char>mapstring; map< char ,string...
2020-03-13 17:35:33
397
原创 (leetcode9)C++解决回文数问题
对于回文数，其实判断起来十分简单，自己看到这道题的第一个想法就是把每一位取出来放在一个向量中，之后比较向量的第一位和最后一位，如果相等就弹出，继续循环。如果最后的向量为空，就代表是回文数，如果非空，就不是。十分暴力#include<vector>using namespace std;class Solution {public: bool isPalindrome(i...
2020-03-13 14:15:15
305
原创 (看不懂 停更)eCNN: A Block-Based and Highly-Parallel CNN Accelerator for Edge Inference
摘要卷积神经网络（CNN）最近已证明在计算成像应用中具有卓越的质量。因此，它们具有极大的潜力来革新相机和显示器上的图像管线。但是，由于传统的CNN加速器具有相当大的DRAM带宽和功耗，因此难以在边缘支持超高分辨率视频。因此，引入进一步的内存和计算效率高的微体系结构对于加快这一即将到来的革命至关重要。在本文中，我们通过考虑推理量低，网络模型，指令集和处理器设计共同优化硬件来实现此目标。性能和图像质...
2020-03-12 17:08:46
1874
原创 A Network-Centric Hardware/Algorithm Co-Design to Accelerate Distributed Training of Deep Neural Net
摘要在不利用分布式系统的情况下，训练现实世界的深度神经网络（DNN）可能需要一个世纪（即数周或数月）。即使是分布式培训也要花费大量时间，其中很大一部分时间都花在了通过网络传达权重和梯度上。最新的分布式培训算法使用工作人员聚合器节点的层次结构。聚合器反复从其分配的工作组中接收梯度更新，然后将更新后的权重发送回去。本文着手通过在网络接口卡（NIC）中嵌入数据压缩加速器来减少这种可观的通信成本。为了最...
2020-03-10 21:31:46
384
原创 GraphOps: A Dataflow Library for Graph Analytics Acceleration
摘要图形数据结构的分析和知识提取已经成为人们非常感兴趣的领域。对于频繁执行的算法，专用的硬件加速器是实现高性能的节能途径。不幸的是，在满足严格的上市时间目标的同时，设计和验证它们的工作量很大。在本文中，我们介绍了GraphOps，这是一个模块化的硬件库，可快速轻松地构建用于图形分析算法的节能型加速器。 GraphOps为硬件设计人员提供了一组可组合的特定于图形的构建块，这些构建块的范...
2020-03-10 15:26:50
395
原创 (leetcode7.8）字符串转换整数
请你来实现一个 atoi 函数，使其能将字符串转换成整数。首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假如第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。该字符串除了有效的整数部分之后也可能会存在多余的字符，这些字符可以被忽...
2020-03-10 15:21:37
241
原创 GraphIA: An In-situ Accelerator for Large-scale Graph Processing
摘要图处理广泛应用于各个领域，而处理大型图则始终受内存限制。原位处理是一种有前途的解决方案，可以克服此类内存密集型应用程序中的“内存墙”挑战。以前的图形处理加速器设计仅关注于在内存中集成更多的计算单元或使用更多的内存层，而不是利用内存库中的巨大并行性。在本文中，我们介绍了GraphIA，这是一种基于DRAM技术的大规模图形处理原位加速器。 GraphIA通过将多个芯片与内部计算电路连接起来，将D...
2020-03-07 14:09:41
377
原创 Accelerating Distributed Reinforcement Learning with In-Switch Computing
摘要强化学习（RL）引起了人们的广泛关注，这些应用程序要求具备对环境变化做出智能反应的能力。与分布式深度神经网络（DNN）训练不同，分布式RL训练具有其独特的工作负载特征–它以较小的大小但更频繁的梯度聚合生成数量级更多的迭代。更具体地说，我们对典型RL算法的研究表明，它们的分布式训练对延迟至关重要，并且用于梯度聚合的网络通信占用每次训练迭代执行时间的83.2％。在本文中，我们介绍了iSwitch...
2020-03-05 22:58:31
521
原创 （leetcode1）C++用vector写两数相加以及vector的多维向量使用
C++写两数相加应该是所有程序里最简单的程序，leetcode第一题用vector写感觉还比较有意思，和栈的感觉很像，vector和数组相比具有更加灵活的特性。#include<vector>#include<iostream>using namespace std;class Solution {public: vector<vector<i...
2020-02-28 21:28:05
1060
原创 用vscode配置C++编译环境（非常简单四步搭建）
为什么会选择vscode其实一直想用一下强大的vscode，最近正好想用C++刷题，于是想在vscode上配置一下C++的编译环境，用舒服的编辑器刷题应该会效率max也会坚持吧。但是其实网上写的博客看了很多都是小白看一篇就够了，但其实每篇都感觉写的很模糊，我综合了很多篇其实只是解决了最简单的问题，走了很多弯路，浪费了好多时间，感觉真的作为小白，遇到的问题其实都不会那么复杂。首先明确你的目的其...
2020-02-28 14:18:40
10602
7
转载 (leetcode basic）补码的取值范围的理解
对于补码取值范围的理解对不补码的取值范围其实一直都有疑惑，单独算补码很好算，但是一旦涉及到边界，涉及到0，-128这样的补码，就会有纠结，本文通过吸取别人的经验用一个简单的理解把补码的范围记录一下。128的补码为什么是1000 00008位二进制的原值表达范围为：-127至127共有256个组合序列 0000 0000 至1111 1111 。+128的原值在8位中是表达不出来的。8位...
2020-01-02 15:47:17
6396
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人