处理GitHub不允许上传大于100M文件问题

同样是记录一下自己工作遇到的问题，免得下次再遇到了还到处网上查资料解决。

自己的项目的版本控制用的是Git，代码仓库在github托管。项目里用到了百度导航SDK，由于百度导航SDK有了新版本，于是就更新到了新版本，更新好了之后想把代码push到github上，结果出错了，被拒绝，具体信息是：

Total 3007 (delta 664), reused 0 (delta 0)
remote: error: GH001: Large files detected.
remote: error: Trace: 7b7de6b9372ee392e0f3961b05ea6f33
remote: error: See http://git.io/iEPt8g for more information.
remote: error: File  XXX/XXX/BaiduNaviSDK/libbaiduNaviSDK.a is 102.68 MB; this exceeds GitHub's file size limit of 100.00 MB
To https://github.com/XXX/XXXX.git。

意思是有大文件，更多信息可到http://git.io/iEPt8g查看，文件libbaiduNaviSDK.a的大小超过了GitHub限制的100M大小。想要push，必须把这个文件移除，可是要怎么移除呢？开始我是想着直接删除掉libbaiduNaviSDK.a，结果不行，还是会报上面的错，于是我又把libbaiduNaviSDK.a放到忽略文件里，结果还是不行，还是说有大文件，报同样的错。这下只能老老实实的看官方的解决办法了，于是就打开http://git.io/iEPt8g老老实实的研究了一番。大意是说为了便于管理代码库和方便合作伙伴们使用，当你push50M以上的文件时github将会警告，当push100M以上文件，就直接拒绝你的push，要想push必须把该文件从本地仓库和远程仓库全部移除掉。这个移除会永久性的从本地git和github里移除，如果这个文件很重要，要记得做一次备份。

下面进入具体操作。如果这个文件是最近一次commit的，并且你还没有push到github，

那么第一步输入命令 cd /Users/Dora/Desktop/XXX（cd后面的这个路径要换成你自己项目的路径），

然后第二步输入命令 git rm --cached /Users/Dora/Desktop/XXX/XXX/libbaiduNaviSDK.a（加下划线部分是你自己的要移除的文件的路径），

第三步输入命令 git commit --amend -CHEAD，执行完这步后，这个大文件将会从你的commit记录里移除，并且以后commit都将不会再把它commit了，这时候就可以git push把本地代码push到github上了。

注意：这里可能遇到输入git rm --cached /Users/Dora/Desktop/XXX/XXX/libbaiduNaviSDK.a命令后说找不到你要删除的文件的问题，出现这个问题的原因是你要删除的文件路径名没写对，一定要仔细检查，确保要删除的文件的路径是正确的。

如果做了这几步你push的时候还是报和开始的时候一样的错，那说明这个文件你不是最近一次commit时添加的，而是在之前commit过很多次了，这就需要把关于这个文件的所有历史commit记录全部清除掉，这时候我们就需要用到一个叫BFG的工具。我们要到https://rtyley.github.io/bfg-repo-cleaner/#download这个网站去下载并学习如何使用这个工具。首先先得把这个软件下载下来，双击它，如果你的电脑没有java的SDK，按照提示安装好，否则BFG将运行不了。好了之后，我们要cd进BFG文件所在目录，

第一步输入命令java -jar bfg.jar --no-blob-protection --strip-blobs-bigger-than 50M my-repo.git（红色部分是你下载下来的文件的名字,蓝色部分是你需要移除的文件大小，橙色部分是你自己.git文件的路径），第二步cd my-repo.git ，第三步 git reflog expire --expire=now --all && git gc --prune=now --aggressive，第四步git push，到此大功告成。你的commit历史里所有大于50M的文件的commit全部被清除，这样你就可以push到github上了。这里只是记录了怎么处理遇到的问题，如果想要知道原理，则需要好好好去学习学习。

注意：这里可能遇到输入命令java -jar bfg.jar --strip-blobs-bigger-than 50M my-repo.git后bfg运行不成功的问题，原因是java -jar bfg.jar这个命令必须要在bfg.jar所在目录下运行才行，否则系统将不知道bfg.jar文件在哪里，所以执行不成功。所以我们要先cd到bfg.jar所在目录，然后在执行ava -jar bfg.jar --strip-blobs-bigger-than 50M my-repo.git命令。对于不熟悉命令行的人来说最容易犯这些错误了。

第二种方法：突破GitHub的限制，使用 git-lfs(Git Large File Storage) 支持单个文件超过100M

上面提到Git Large File Storage(https://git-lfs.github.com/).直接访问有 github 开源的 LFS 大文件上传方法就可以解决;
具体方式下面贴出来,也给自己备注下

LFS 并不能像”变魔术一样”处理所有的大型数据：它需要记录并保存每一个变化。然而，这就把负担转移给了远程服务器 - 允许本地仓库保持相对的精简。

为了实现这个可能，LFS 耍了一个小把戏：它在本地仓库中并不保留所有的文件版本，而是仅根据需要提供检出版本中必需的文件。

但这引发了一个有意思的问题：如果这些庞大的文件本身没有出现在你的本地仓库中….改用什么来代替呢? LFS 保存轻量级指针中有真实的文件数据。当你用一个这样的指针去迁出一个修订版时，LFS 会很轻易地找到源文件（不在他上面可能就在服务器上，特殊缓存）然后你下载就行了。

因此，你最终只会得到你真正想要的文件 - 而不是一些你可能永远都不需要冗余数据。

# 1、安装git-lfs
brew install git-lfs

# 2、没有特别说明的情况下，LFS 不会处理大文件问题，因此，我们必须明确告诉 LFS 该处理哪些文件。将 FrameworkFold/XXXFramework/xxx的文件设置成大文件标示。
git lfs track "FrameworkFold/XXXFramework/xxx"

# 3、常规的push操作
git add .
git commit -m "add large file"
git push

追踪文件路径（标示大文件）：

1、追踪单个文件：

git lfs track "FrameworkFold/XXXFramework/xxx"

1
或者修改仓库路径下的 .gitattributes 文件：

FrameworkFold/XXXFramework/xxx filter=lfs diff=lfs merge=lfs -text

1
2、追踪指定类型的文件：

git lfs track "*.exe"

1
3、追踪指定目录下的文件：

git lfs track "FrameworkFold/*"

一些问题
1、Remote “origin” does not support the LFS locking API. Consider disabling it with

# 在最后一步push的时候

git push -u origin develop1.0
Remote "origin" does not support the LFS locking API. Consider disabling it with:
  $ git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
Git LFS: (0 of 1 files) 0 B / 207.25 MB                                                                                                    
batch request: Access denied
exec request failed on channel 0: exit status 255
error: failed to push some refs to 'git@git.oschina.net:harrydeng/xxx.git'

解决方式：

git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false

2、batch request: Access denied

# 在最后一步push的时候

git push -u origin develop1.0
Remote "origin" does not support the LFS locking API. Consider disabling it with:
  $ git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
Git LFS: (0 of 1 files) 0 B / 207.25 MB                                                                                                    
batch request: Access denied
exec request failed on channel 0: exit status 255
error: failed to push some refs to 'git@git.oschina.net:harrydeng/xxx.git'

解决方式：

# 删除 .git/hooks/pre-push 文件即可
That looks like a server issue with deploy keys. For now, try removing .git/hooks/pre-push.

3、GitHub 目前 Git LFS的总存储量为1G左右，超过需要付费。(上传失败时，可以开启VPN进行上传)

4、batch response: Repository or object not found

$ git lfs push origin master
Git LFS: (0 of 1 files) 0 B / 207.25 MB                                                                                                    
batch response: Repository or object not found: https://gitee.com/harrydeng/LargeFileStorage.git/info/lfs/objects/batch
Check that it exists and that you have proper access to it

失败原因：

是gitee.com这个git仓库并不支持lfs，所以在大文件入库的时候，提示失败

解决方式

目前来说，GitHub、GitLab、Coding。gitee(也就是git.oschina.net)目前还不支持。