从github下载最新Android源码

最新推荐文章于 2024-04-23 03:00:30 发布
最新推荐文章于 2024-04-23 03:00:30 发布
阅读量376 收藏
点赞数
文章标签： 移动开发 git python
原文链接：https://my.oschina.net/u/737017/blog/349636
版权

今年5月底开始，谷歌彻底被墙，所有谷歌的网站都不能访问了，这次包括了android.org，googlesource.com，code.google.com。Android官方的资源不能访问，想下载Android代码当然是困难重重了。

本文就为大家解决这一问题——介绍如何使从github.com/andorid下载Andorid最新源码。俗话说“授之以鱼不如授之以渔”，本文不只是给出一个已经打包好的源码的链接，而是重现一下我是如何下载的，希望对大家遇到的类似的问题能有所帮助。


github.com/android简介

打开github.com/android可以看到：

中间黑体列出的的是各个项目的链接。github.com/android上托管的Android源码是用git单独管理每个项目的，而没有像googlesource.com那样使用repo（谷歌开发的基于git的命令行工具）管理所有项目。所以，如果你只想下载一个项目的源码，可以单独下载（比如开发App想跟一下SDK的一些源码可以下载platform_frameworks_base项目）。


怎么下载一个项目的代码？

用过git的同学当然知道，可以使用下面的命令获取远程仓库的代码：

git clone [仓库URL]
github项目页面的右边栏给出了仓库URL，如下图（clone URL下方的文本框）：


当然，如果只是要配置“App源码调试”环境，可以点“Download ZIP”按钮，下载zip格式的源码包，然后在Eclipse调试的时候选择下载好的源码包。


如何批量下载github上的Android源码

这里在是本文的重点——批量下载github上的android源码。

根据单独下载一个项目的过程，下载所有项目的源码可以有两种方法：

  1. 得到所有项目的git仓库URL
  2. 得到所有项目的ZIP包下载链接

接下来的问题是如何得到这样的URL?

当然是从网页上（也就是页面的HTML文件上）！

现在问题就是如何得到这些网页？

我瞬间想到的办法就是——用CURL

ps: CURL是一个命令行上传下载工具，支持多种协议包括HTTP, HTTPS, FTP等。

没有curl的同学可以用如下命令下载：

sudo apt-get install curl

有了CURL用来抓页面，就不愁得不到仓库URL或ZIP包URL了：

首先要抓取github.com/android的页面，再“顺藤摸瓜”地抓取各个项目的页面，再从各项目的页面上抓取仓库URL或ZIP包URL。


抓取页面

在github.com/android页面的下方可以看github.com/andoid一共分5页，点击后面几个页面，可以发现这几个页面的URL形式一致为:

https://github.com/android?page=N
其中N表示“第几页”，比如第二页，就是https://github.com/android?page=2

由此，可以用bash脚本轻易写出抓取这5个页面的代码（可以直接在终端里执行下面的命令）：

for ((i=1; i<=5; i++)); do
	curl https://github.com/android?page=$i > android.github.com.$i.html;
done

有捷径

再看项目的首页URL和仓库URL可以发现：

仓库URL = 首页URL + .git

比如，platform_frameworks_base的首页URL是：

https://github.com/android/platform_frameworks_base
仓库URL是： 

https://github.com/android/platform_frameworks_base.git
当然，如果你有github.com的帐号，并且当前环境的pubkey已加入到了profile下，也可以使用ssh协议下载（而不是https），ssh下载的URL是： 

git://github.com/android/platform_frameworks_base.git
由此可知，获取仓库URL可以不用进一步抓起项目首页，更简单（下面只介绍获取所有仓库URL）。

解析页面

现在的问题就是——如何从这些页面上得到仓库的URL了。

可以通过浏览器的“审查元素”菜单快速找到页面上一个链接对应的HTML代码块，如下图：


可以看到platform_frameworks_base项目的超链接（<a href="xxx">）被一个<h3 class="repo-list-name">标签包围，粗略浏览一下刚才下载的几个子页面，可以看出每个项目首页的链接都是如此（在<h3 class="repo-list-name">的下一行）。

根据刚才找到的两个规律：

  1. 项目首页URL总是出现在<h3 class="repo-list-name">的下一行

  2. 仓库URL = 首页URL + .git

可以写出解析各个项目首页（仓库URL）的python代码（getGitRepos.py）：

#!/usr/bin/python
import sys

flag = False
link_prefix = 'https://github.com' # 如果使用ssh协议下载，可将https改为git

allLines = sys.stdin.readlines()
for curLine in allLines:
	if curLine.find('repo-list-name') >= 0:
		flag = True
	if flag:
		pos = curLine.find('href="')
		if pos >= 0:
			pos += len('href="')
			last = curLine[pos:]
			end = last.find('"')
			link = last[:end]
			
			# name to path.
			name = link[link.rfind('/')+1:]
			prefix = name.find('platform_')
			if prefix >= 0:
				name = name[len('platform_'):] # ignore platform_
			path = name.replace('_', '/')
			
			link = link_prefix + link
			# print 'curl', link, '>', name
			# https://github.com/android/platform_external_qemu.git
			print 'git clone', link + '.git', path # 输出 git clone 命令
			flag = False
之所以用python解析，只是因为python写起来简洁，也可以用其他语言。

这段python程序从标准输入读入文本并解析，实际使用时可用重定向操作符实现，实现用之前抓取的github.com/android的几个子页面替代标准输入。

程序输出的git clone命令的path参数会忽略仓库名称前面的platform_前缀，这使得最终下载下来的源码结构和repo sync下来的类似。


可以先用一个页面测试一下，看看解析出来的URL对不对（上面的python代码就是这样改正确的），终端输入下面命令：

./getGitRepos.py < android.github.com.1.html
该命令的输出为： 
git clone https://github.com/android/platform_dalvik.git dalvik
git clone https://github.com/android/platform_bionic.git bionic
git clone https://github.com/android/platform_system_core.git system/core
git clone https://github.com/android/kernel_common.git kernel/common
git clone https://github.com/android/platform_external_qemu.git external/qemu
git clone https://github.com/android/platform_build.git build
git clone https://github.com/android/platform_development.git development
git clone https://github.com/android/platform_frameworks_base.git frameworks/base
git clone https://github.com/android/platform_manifest.git manifest
git clone https://github.com/android/platform_frameworks_support.git frameworks/support
git clone https://github.com/android/platform_packages_apps_settings.git packages/apps/settings
git clone https://github.com/android/platform_external_dhcpcd.git external/dhcpcd
git clone https://github.com/android/platform_external_webkit.git external/webkit
git clone https://github.com/android/platform_external_protobuf.git external/protobuf
git clone https://github.com/android/platform_packages_providers_mediaprovider.git packages/providers/mediaprovider
git clone https://github.com/android/platform_external_elfutils.git external/elfutils
git clone https://github.com/android/platform_external_strace.git external/strace
git clone https://github.com/android/platform_hardware_libhardware.git hardware/libhardware
git clone https://github.com/android/platform_external_tinyxml.git external/tinyxml
git clone https://github.com/android/platform_external_oprofile.git external/oprofile

测试基本上出现问题，因为getGitRepos.py输出的是git clone命令，执行之后在能执行实际的下载动作；所以，需要将这些输出保存下来；

使用如下命令可将每个子页面解析出的git clone命令保存到一个文本文件内：

for page in `ls android.github.com.*`; do
	echo parse $page
	./getGitRepos.py < $page >> gitRepos.txt;
done

有了写满git clone命令的gitRepos.txt后，可以使用如下命令执行之：

sh gitRepos.txt

一键下载

为了方便广大网友使用，我已将上面需要用的命令写道了下面的cloneRepos.sh：

#!/bin/bash
# clone AOSP each repo from https://github.com/android
# this shell depends on git, curl and python 2.
# INSTALL depends:
#	sudo apt-get install git curl python
#
# by xu(xusiwei1236@163.com).

# download github AOSP sub pages
for ((i=1; i<=5; i++)); do
	echo get AOSP subpage https://github.com/android?page=$i
	curl https://github.com/android?page=$i > android.github.com.$i.html;
done

# parse git repo URL from each sub pages
mkdir repos
cat /dev/null > gitRepos.txt
for page in `ls android.github.com.*`; do
	echo parse $page
	./getGitRepos.py < $page >> gitRepos.txt;
done

# clone repos
sh gitRepos.txt
另外，我已将上面的cloneRepos.sh和getGitRepos.py打包在了一起，可以到 http://download.csdn.net/detail/xusiwei1236/7960925下载使用。

当然，如果觉得自己运行麻烦，可以直接copy生成的gitRepos.txt，直接粘贴到终端里执行之，即可下载全部Android源码：

git clone https://github.com/android/platform_dalvik.git dalvik
git clone https://github.com/android/platform_bionic.git bionic
git clone https://github.com/android/platform_system_core.git system/core
git clone https://github.com/android/kernel_common.git kernel/common
git clone https://github.com/android/platform_external_qemu.git external/qemu
git clone https://github.com/android/platform_build.git build
git clone https://github.com/android/platform_development.git development
git clone https://github.com/android/platform_frameworks_base.git frameworks/base
git clone https://github.com/android/platform_manifest.git manifest
git clone https://github.com/android/platform_frameworks_support.git frameworks/support
git clone https://github.com/android/platform_packages_apps_settings.git packages/apps/settings
git clone https://github.com/android/platform_external_dhcpcd.git external/dhcpcd
git clone https://github.com/android/platform_external_webkit.git external/webkit
git clone https://github.com/android/platform_external_protobuf.git external/protobuf
git clone https://github.com/android/platform_packages_providers_mediaprovider.git packages/providers/mediaprovider
git clone https://github.com/android/platform_external_elfutils.git external/elfutils
git clone https://github.com/android/platform_external_strace.git external/strace
git clone https://github.com/android/platform_hardware_libhardware.git hardware/libhardware
git clone https://github.com/android/platform_external_tinyxml.git external/tinyxml
git clone https://github.com/android/platform_external_oprofile.git external/oprofile
git clone https://github.com/android/platform_external_neven.git external/neven
git clone https://github.com/android/platform_external_netperf.git external/netperf
git clone https://github.com/android/platform_external_netcat.git external/netcat
git clone https://github.com/android/platform_external_libxml2.git external/libxml2
git clone https://github.com/android/platform_external_libpng.git external/libpng
git clone https://github.com/android/platform_external_libpcap.git external/libpcap
git clone https://github.com/android/platform_external_libffi.git external/libffi
git clone https://github.com/android/platform_external_jpeg.git external/jpeg
git clone https://github.com/android/platform_external_jhead.git external/jhead
git clone https://github.com/android/platform_external_jdiff.git external/jdiff
git clone https://github.com/android/platform_external_iptables.git external/iptables
git clone https://github.com/android/platform_external_icu4c.git external/icu4c
git clone https://github.com/android/platform_external_giflib.git external/giflib
git clone https://github.com/android/platform_external_freetype.git external/freetype
git clone https://github.com/android/platform_external_fdlibm.git external/fdlibm
git clone https://github.com/android/platform_external_expat.git external/expat
git clone https://github.com/android/platform_external_esd.git external/esd
git clone https://github.com/android/platform_external_emma.git external/emma
git clone https://github.com/android/platform_external_dropbear.git external/dropbear
git clone https://github.com/android/platform_external_apache-http.git external/apache-http
git clone https://github.com/android/platform_external_openssl.git external/openssl
git clone https://github.com/android/platform_external_sonivox.git external/sonivox
git clone https://github.com/android/platform_packages_providers_telephonyprovider.git packages/providers/telephonyprovider
git clone https://github.com/android/platform_packages_providers_downloadprovider.git packages/providers/downloadprovider
git clone https://github.com/android/platform_packages_providers_contactsprovider.git packages/providers/contactsprovider
git clone https://github.com/android/platform_packages_providers_calendarprovider.git packages/providers/calendarprovider
git clone https://github.com/android/platform_packages_apps_voicedialer.git packages/apps/voicedialer
git clone https://github.com/android/platform_packages_apps_stk.git packages/apps/stk
git clone https://github.com/android/platform_packages_apps_soundrecorder.git packages/apps/soundrecorder
git clone https://github.com/android/platform_packages_apps_phone.git packages/apps/phone
git clone https://github.com/android/platform_packages_apps_packageinstaller.git packages/apps/packageinstaller
git clone https://github.com/android/platform_packages_apps_music.git packages/apps/music
git clone https://github.com/android/platform_packages_apps_mms.git packages/apps/mms
git clone https://github.com/android/platform_packages_apps_htmlviewer.git packages/apps/htmlviewer
git clone https://github.com/android/platform_packages_apps_email.git packages/apps/email
git clone https://github.com/android/platform_packages_apps_contacts.git packages/apps/contacts
git clone https://github.com/android/platform_packages_apps_camera.git packages/apps/camera
git clone https://github.com/android/platform_packages_apps_calendar.git packages/apps/calendar
git clone https://github.com/android/platform_packages_apps_calculator.git packages/apps/calculator
git clone https://github.com/android/platform_packages_apps_browser.git packages/apps/browser
git clone https://github.com/android/platform_hardware_ril.git hardware/ril
git clone https://github.com/android/platform_external_zlib.git external/zlib
git clone https://github.com/android/platform_external_yaffs2.git external/yaffs2
git clone https://github.com/android/platform_external_tcpdump.git external/tcpdump
git clone https://github.com/android/platform_external_tagsoup.git external/tagsoup
git clone https://github.com/android/platform_external_srec.git external/srec
git clone https://github.com/android/platform_external_sqlite.git external/sqlite
git clone https://github.com/android/platform_external_skia.git external/skia
git clone https://github.com/android/platform_external_safe-iop.git external/safe-iop
git clone https://github.com/android/platform_external_ppp.git external/ppp
git clone https://github.com/android/kernel_msm.git kernel/msm
git clone https://github.com/android/platform_system_bluetooth.git system/bluetooth
git clone https://github.com/android/platform_prebuilt.git prebuilt
git clone https://github.com/android/platform_packages_providers_drmprovider.git packages/providers/drmprovider
git clone https://github.com/android/platform_external_ping.git external/ping
git clone https://github.com/android/platform_external_dbus.git external/dbus
git clone https://github.com/android/tools_repo.git tools/repo
git clone https://github.com/android/android.github.io.git android.github.io
git clone https://github.com/android/platform_external_wpa_supplicant.git external/wpa/supplicant
git clone https://github.com/android/platform_packages_apps_googlesearch.git packages/apps/googlesearch
git clone https://github.com/android/platform_system_wlan_ti.git system/wlan/ti
git clone https://github.com/android/platform_packages_providers_googlecontactsprovider.git packages/providers/googlecontactsprovider
git clone https://github.com/android/platform_packages_apps_im.git packages/apps/im
git clone https://github.com/android/platform_packages_providers_improvider.git packages/providers/improvider
git clone https://github.com/android/platform_external_tremor.git external/tremor
git clone https://github.com/android/platform_packages_apps_sync.git packages/apps/sync
git clone https://github.com/android/platform_packages_apps_alarmclock.git packages/apps/alarmclock
git clone https://github.com/android/platform_external_aes.git external/aes
git clone https://github.com/android/platform_external_clearsilver.git external/clearsilver
git clone https://github.com/android/platform_external_googleclient.git external/googleclient
git clone https://github.com/android/platform_packages_apps_launcher.git packages/apps/launcher
git clone https://github.com/android/platform_external_bluez.git external/bluez
git clone https://github.com/android/platform_external_gdata.git external/gdata
git clone https://github.com/android/platform_frameworks_opt_com.google.android.git frameworks/opt/com.google.android
git clone https://github.com/android/platform_external_elfcopy.git external/elfcopy
git clone https://github.com/android/platform_frameworks_policies_base.git frameworks/policies/base
git clone https://github.com/android/platform_packages_apps_updater.git packages/apps/updater
git clone https://github.com/android/platform_external_opencore.git external/opencore

转载于:https://my.oschina.net/u/737017/blog/349636

chongchan9210
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从github下载Android源码的脚本
09-23
该压缩包包含两个脚本：一个bash脚本负责从github.com/android抓取页面，并调用python脚本，解析抓取下来的每个页面，输出git clone命令。 具体过程参考：http://blog.csdn.net/xusiwei1236/article/details/39395359
GitHub Android App源码
05-08
【GitHub Android App源码解析】 GitHub Android App 是一个官方出品的应用程序，允许用户在移动设备上无缝地浏览、管理以及协作开发GitHub上的项目。这款应用的源码是公开的，对于Android开发者而言，它是一个宝贵...
github找android源码,从github检查Android源代码
weixin_39912250的博客
05-27 350
在完成所有这些步骤以查看Android源代码(Gingerbread分支)之后,为了解决编译错误,我决定尝试从不同的源代码获取源代码.以下是我从GitHub.com存储库中检出源代码所采取的步骤.我检查了GitHub.com存储库中的repo工具git clone git://github.com/android/tools_repo.git在下载的repo脚本文件中,我更改了repo工具的位置,...
Github上最值得学习的10个Android开源项目，移动应用开发就业工资
最新发布
2401_84411879的博客
04-23 647
由于文章篇幅原因，我只把面试题列了出来，详细的答案，我整理成了一份PDF文档，这份文档还包括了还有高级架构技术进阶脑图、Android开发面试专题资料，高级进阶架构资料 ，帮助大家学习提升进阶，也节省大家在网上搜索资料的时间来学习。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！构资料 ，帮助大家学习提升进阶，也节省大家在网上搜索资料的时间来学习。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
开源项目推荐：本人收集的有关Qt的GitHub/Gitee开源项目(★精品收藏★)
热门推荐
$firecat利白的代码足迹$
08-18 5万+
Qt Creator环境： 使用Qt Creator作为Linux IDE，代替Vim：实现两台Linux电脑远程部署和调试(一台电脑有桌面系统，一台电脑无桌面系统) 使用Qt Creator作为Linux IDE，实现CMake编译和单步调试 在Qt Creator中使用make构建,运行,调试通用C/C++项目 使用Qt Creator作为Linux IDE，实现Nginx和Redis......
android原生代码下载方法
jiong_1的博客
08-28 846
2、 修改为国内的源，修改~/.bashrc文件，末尾添加如下代码。完成后可以看到如下信息。
如何从github上面拷贝源码
pursue168的专栏
05-24 6736
直接在右侧点击download zip 即可。 　　1 查找目标源码的github URL 　　首先，你要有一个github的账号......... 　　然后，在github中搜索对应的项目名称，然后在右边就可以看到URL了： 　　2 安装git，创建本地仓库 　　为了存放源码，首先需要安装版本控制工具git。 　　登录官网：http://git
安卓Android源码——github客户端.zip
10-14
安卓Android源码——github客户端.zip
Android项目源码Github的第三方客户端
03-16
【Android项目源码Github的第三方客户端】是一个专为Android平台设计的应用程序，它允许用户以非官方的方式访问和交互GitHub的服务。这个项目源码对于学习Android开发，特别是对GitHub API的集成以及Android应用的...
GitHub上最火的40个Android开源项目源码
09-05
GitHub上最火的40个Android开源项目源码，筛选了下，主要是把可以加到我们项目中的下了下来，这里有40个项目的描述，以及12个项目的源码，省的各位童鞋重复下载了，当然如果有童鞋需要其他的项目，我这里也给出了...
android github客户端源码.rar
11-02
这个压缩包文件“android github客户端源码.rar”包含了一个Android应用程序的源代码，该程序是一个GitHub的客户端应用。从给出的文件列表来看，我们可以深入探讨以下几个关键知识点： 1. **readme.md**: 这通常是...
android 8.1 源码下载（27）
10-09
Android源码不断更新，定期使用`repo sync`更新到最新版，保持与官方同步。 通过以上步骤，你可以深入理解Android 8.1的源码，从而更好地进行定制化开发、性能优化或者问题定位。在学习过程中，查阅官方文档、阅读...
黑马程序员——Android移动开发源码
04-29
黑马程序员——Android移动开发源码
android源码下载
06-25
Android源码下载是Android开发人员深入理解系统工作原理和进行定制化开发的重要步骤。源码提供了Android操作系统的底层实现，包括Linux内核、HAL层、框架层以及应用程序接口。了解如何下载Android源码对于开发者来说...
GitHub Android客户端
02-13
根据GitHub客户端源代码生成的apk安装包
github客户端应用源码 安卓版
03-16
github客户端应用源码安卓版比较齐全，运行起来非常不错，该应用版本也是目前最新版本的github客户端android版的，是一款非常不错的android应用开发案例，喜欢的朋友可以下载学习开发。
如何快速打开gitHub中下载的Android源码
luoro的博客
05-14 2085
学习Android以及日后的工作中，我们必不可少的会经常访问git并下载别人的源码，当你下载好别人的源码后先别着急用AS打开，当你做完这些步骤，就能快速的打开别人的源码哦 首先，当我们下载好别人的源码后，其目录如下所示： 1、首先，我们需要用记事本打开build.gradle,替换下图两部分的内容（下图已经是替换完成了的） 阿里云仓库地址： maven { url 'http://maven.aliyun.com/nexus/content/groups/public/' } .
GITHUB下载ANDRIOD源码
a594455873的专栏
06-14 91
1 git clone https://android.googlesource.com/device/common.git 2 git clone https://android.googlesource.com/device/google/accessory/arduino.git 3 git clone https://android.googlesource....
android 投屏工具归档(开源)
cwh的博客
06-22 1226
android 投屏工具归档记录: scrcpy : https://github.com/Genymobile/scrcpy(命令行运行; 延迟低; adb操作; android设备无需安装apk; 支持windows、linux、macos) windows 下scrcpy二次开发版(带控制面板)： https://lsdy.top/aztp web 版： https://github.com/NetrisTV/ws-scrcpy ...
Android源码下载
08-05
2. AOSP（Android开源项目）镜像：为了方便开发者，一些组织和个人提供了AOSP的镜像，您可以从这些镜像站点下载Android源码。其中一些常见的镜像站点包括： - GitHub Mirror: https://github.com/aosp-mirror- 码云...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值